大规模的数据量，在处理的时候，对技术体系是有较高的要求的。对于一个企业来说，每天都会新增庞大的数据，这些数据可能来自于用户的操作、可能来自于智能家居、可能来自于各种传感器等，数据的来源非常多，而且数据量的增速也是非常可怕的。大数据相关的技术体系，需要处理的数据量是非常庞大的，动辄PB、EB规模的数据，但是真正具有价值的数据却非常稀少，只有100M，甚至更少。半结构化的数据，指的是有一定的结构性，但

sql语句中使用row_number分析函数，分组（partition by）字段中有几十万空字符串，导致数据严重倾斜，报错。

sql语句中使用row_number分析函数，分组（partition by）字段中有几十万空字符串，导致数据严重倾斜，报错。

1、什么是数据库？使用数据结构存储数据的仓库。2、什么是关系型数据库？使用关系模型存储数据的数据库。关系模型指表与表之间的关系，包含一对一、一对多、多读多。3、什么是非关系型数据库？使用非关系模型保存数据的数据库。例如列存储、键值对、文件形式。4、说一说数据库三大范式？第一范式，表中字段是原子的，不可再分；第二范式，表中字段必须依赖主键的全部字段，不能只依赖一部分；第三范式，表中字段必须直接依赖主

1、双击安装文件“dbeaver-ce-21.3.3-x86_64-setup.exe”，进入安装界面。6、点击完成，安装成功。4、点击ok》下一步》我接受，进入组件选择界面，默认选项不用修改。5、点击下一步，进入安装位置界面，修改安装位置，不要安装在C盘。2、点击ok》下一步》我接受，选择下图选项，为此所有用户使用。5、下载完成后，弹出测试连接成功窗口，点击确定关闭窗口。2、点击数据库》新建数据

1、双击安装文件“dbeaver-ce-21.3.3-x86_64-setup.exe”，进入安装界面。6、点击完成，安装成功。4、点击ok》下一步》我接受，进入组件选择界面，默认选项不用修改。5、点击下一步，进入安装位置界面，修改安装位置，不要安装在C盘。2、点击ok》下一步》我接受，选择下图选项，为此所有用户使用。5、下载完成后，弹出测试连接成功窗口，点击确定关闭窗口。2、点击数据库》新建数据

下载完成后，解压，将mysql-connector-java-8.0.30.jar拷贝到spark安装目录的libs中。使用pyspark连接mysql数据库代码如下。查询mysql版本命令：mysql -V。

然后进入python3.8，执行命令：conda activate py38查看版本，命令：python --version。在命令行窗口中，输入命令：conda create -n py38 python=3.8。执行命令后，显示conda版本、安装路径和安装的包。打开anaconda命令行窗口。然后提醒是否安装，输入y。

pip install jupyter_contrib_nbextensions命令需要下载文件，请耐心等待。执行完成后，重启Jupyter，会发现菜单中多了“Nbextensions”一项。将下图红线出的选项选中，进入notebook后，编辑代码就可以智能提示了。1、在Jupyter中打开控制台。

然后进入python3.8，执行命令：conda activate py38查看版本，命令：python --version。在命令行窗口中，输入命令：conda create -n py38 python=3.8。执行命令后，显示conda版本、安装路径和安装的包。打开anaconda命令行窗口。然后提醒是否安装，输入y。