一 查看是否安装了git 及 安装在终端执行：git没有，进行git安装：sudo apt-get install git执行中可能有无错误，提示：E: Failed to eftch http://archives.........E: Unable to fetch http.....这个缺少某些依赖，进行更新操作即可，执行下面：sudo apt-get update再次执行git的安装命令，

1. Spark 集群结构名词解释Driver该进程调用 Spark 程序的 main 方法, 并且启动 SparkContextCluster Manager该进程负责和外部集群工具打交道, 申请或释放集群资源Worker该进程是一个守护进程, 负责启动和管理 ExecutorExecutor该进程是一个JVM虚拟机, 负责运行 Spark Task运行一个 Spark 程序大致经历如下几个步骤

# -*- coding=UTF-8 -*-import timeimport requestsimport reimport osfrom bs4 import BeautifulSoupfrom requests.exceptions import ConnectionError, ReadTimeoutimport csvimport jsonimport MySQLdb...

第一步：虚拟机关机新增磁盘在VMware当中新增一块磁盘第二步：开机之后进行磁盘挂载df -lhfdisk -l开始分区fdisk /dev/sdb这个命令执行后依次输 np1回车回车wfdisk -l格式化我们的分区mkfs -t ext4 -c /dev/sdb1格式化我们的分区mkdir /data02将我们的分区...

1. Spark 集群结构名词解释Driver该进程调用 Spark 程序的 main 方法, 并且启动 SparkContextCluster Manager该进程负责和外部集群工具打交道, 申请或释放集群资源Worker该进程是一个守护进程, 负责启动和管理 ExecutorExecutor该进程是一个JVM虚拟机, 负责运行 Spark Task运行一个 Spark 程序大致经历如下几个步骤

Oracle的官方JDK下载需要注册，且会出现下载到最后一点就限速的情况，这里放一下已经下载好的JDK连接：版本是jdk-8u221-linux-x64.tar.gz链接：https://pan.baidu.com/s/1GZnUwB3nraObgperKlmBCg提取码：17xx1.原有虚拟机jdk的卸载：一般Vmware虚拟机安装后，会有自带的jdk- openjdk查看命令：r...

Vmware虚拟机复制克克隆后MAC地址IP地址修改：步骤1：步骤2：更改mac地址：vim /etc/udev/rules.d/70-persistent-net.rulesname修改为 eth0 , 这里的mac地址，就是图一生成，如果还有其他配置，删除即可。步骤3：更改ip地址vim /etc/sysconfig/network-scripts/ifcfg-eth0...

一 定义机器学习是从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测二 为什么需要机器学习解放生产力：智能客服：不知疲倦24小时小时作业量化投资：避免更多的编写策略、交易人员医疗：帮助医生辅助医疗解决专业问题：ET医疗提供社会便利：杭州的城市大脑三 机器学习应用场景3.1 用在挖掘、预测领域：应用场景：店铺销量预测、量化投资、广告推荐、企业客户分类、SQL语句...

一 数据集1.1 数据集的划分机器学习一般的数据集会划分为两个部分：训练数据：用于训练，构建模型测试数据：在模型检验时使用，用于评估模型是否有效划分比例：训练集：70% 80% 75%测试集：30% 20% 30%APIsklearn.model_selection.train_test_split(arrays, *options)x 数据集的特征值y 数据集的...

一 定义如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。1.1 距离公式两个样本的距离可以通过如下公式计算，又叫欧式距离二 电影类型分析三 K-近邻算法APIsklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)n_neigh...