基于 TMDB 数据集的电影数据分析一、环境搭建二、数据预处理三、使用 Spark 将数据转为 DataFrame四、使用 Spark 进行数据分析并可视化1.单独分析2.字段之间的关系分析五，结语一、环境搭建从假设裸机，环境搭建开始，具体环境搭建操作大体流程如下，具体详细流程点击查看另一篇博客：spark环境搭建大体流程：（1）安装Linux操作系统：比如可以安装Ubuntu 16.04（2）安

在学习spark过程中，使用到win系统上的pycharm与ubuntu进行对接，这里记录自己所做的实现对接的流程，其实流程很简单，但是我在这个过程中出错很多，搞得心态都要崩了，觉得有必要记录一下，给出同样错的做个参考。环境:pycharm专业版win10ubuntu14.xpip3 版本10.0.0pyspark3.0.2python默认3.5先说一下大概流程和问题，最后放详细的过程在win10

对数几率回归原理代码实现原理之前介绍了代码实现

pc端找不到的，在手机上，我的–个人主页–动态，这里有点赞过的文章。

1.环境配置Hadoop安装与安装前的环境配置流程•如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。在下载好的ubuntu中需要创建hadoop用户，并为其设置密码以及所需权限，为后续的实验方便：sudo useradd -m hadoop -s /bin/bashsudo passwd hadoopsudo adduser hadoo