抓取kaggle网站代码github:https://github.com/Gscsd8527/AllProject/blob/master/Kaggle/new_kaggle.pyimport requestsimport reimport jsonimport uuidimport datetimeBASE_URL = 'https://www.kaggle.com'...

1. pyspark 版本2.3.0版本2. collect()collect()[source]Return a list that contains all of the elements in this RDD.中文：返回包含此RDD中的所有元素的列表。Note This method should only be used if the res...

Selenium 设置元素等待的三种方式1. sleep 强制等待2. implicitly_wait() 隐性等待3. WebDriverWait（）显示等待三种方式的优缺点1. sleep 强制等待from selenium import webdriverfrom time import sleepdriver = webdr...

来配置我们的ssh无密码登录到slave1和slave2上1.    首先检查每个虚拟机是否安装了ssh和启动了sshd服务如果没有安装的话要执行以下代码这个命令要在root下运行，因为hadoop用户还没有这个权限这个命令是安装ssh的客户端和服务端2.  然后我们切换到hadoop用户下，运行ssh localhost命令，这个命令会生成 .ssh隐藏文件夹，遇到提示就输入yes3. 我们要进

首先，我来介绍下Django，Django是一个开放源代码的web应用框架，由python写成，Django采用了MVC的软件设计模式，即模型M，视图V和控制器C。首先，我们先创建一个项目：该项目的名称为 Djangoproject，该项目的目录结构为：Djangoproject           :项目的容器      ---  _init_.py       ：一个空文件，告诉python该

先来说下kafka是个什么东西，它是一个消息中间件框架，只负责发布--订阅（帮忙存东西的）接着给大家看一张大致的kafka流程图              首先打个比方，kafka好比就是中央电视台，而中央电视台下面有很多节目，生产者就是制作节目的团队，而消费者就是我们观看这个节目的人，一开始在zookeeper创建一个节目，假设就叫cctv1，有了这个节目名后，我们就得请一个团队来填充这个节目，

QueuePool 是 SQLAlchemy 内置的一个连接池实现，它可以管理一个连接队列，确保每个连接在使用后被适当地关闭。它支持多种类型的连接池，并使用 threading模块实现线程安全，具有更高的性能和稳定性。SQLAlchemy 中的 QueuePool 和 DBUtils 中的 PooledDB 都是流行的 Python数据库连接池实现，它们具有相似的功能但具有一些区别。连接池的优点是

                                                使用Django Rest Framework之前我们要先知道，它是什么，能干什么用？Django Rest Framework 是一个强大且灵活的工具包，用以构建Web API为什么要使用Rest Framework          Django REST Framework可以在Dja...

一、 功能实现对学生对个人信息的增删查改实现后台对所有学生信息的操作二、开发工具Windows + Pycharm + Mysql + Django三、git地址https://github.com/Gscsd8527/StudentSystem四、代码实现1. modelfrom django.db import models...

最近经常要将数据导入到mysql中，我写过一次后也是复制粘贴前面写过的，但老是经常忘记写过的放哪去了，索性整理下直接写到博客里面来方法：1、使用 pymysql 库， 数据一条条插入，或者用Django ORM里面的方法，数据批量插入2、使用 pandas 库，一次性插入3、使用 pyspark， 一次性插入（可以不用建表，但是表没有注释， 即 mysql 的 COMMENT，要注释的话可以建空表