1、什么是特征工程1.1 特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。意义：会直接影响机器学习的效果数据集构成：特征值+目标值1.2 特征工程包含内容特征抽取特征预处理特征降维1.3 特征工程所需工具1） Scikit-learn对于 特征的处理 提供了强大的接口① Python语言的机器学习工具② Scikit-learn包...

一 查看是否安装了git 及 安装在终端执行：git没有，进行git安装：sudo apt-get install git执行中可能有无错误，提示：E: Failed to eftch http://archives.........E: Unable to fetch http.....这个缺少某些依赖，进行更新操作即可，执行下面：sudo apt-get update再次执行git的安装命令，

一 特征选择1.1 定义数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征1.2特征选择的方法1）Filter(过滤式)主要探究特征本身特点、特征与特征和目标值之间关联方差选择法：低方差特征过滤相关系数2） Embedded (嵌入式)算法自动选择特征（特征与目标值之间的关联）决策树:信息熵、信息增益正则化：L1、L2深度学习：卷积等1...

1. Spark 集群结构名词解释Driver该进程调用 Spark 程序的 main 方法, 并且启动 SparkContextCluster Manager该进程负责和外部集群工具打交道, 申请或释放集群资源Worker该进程是一个守护进程, 负责启动和管理 ExecutorExecutor该进程是一个JVM虚拟机, 负责运行 Spark Task运行一个 Spark 程序大致经历如下几个步骤

# -*- coding=UTF-8 -*-import timeimport requestsimport reimport osfrom bs4 import BeautifulSoupfrom requests.exceptions import ConnectionError, ReadTimeoutimport csvimport jsonimport MySQLdb...

第一步：虚拟机关机新增磁盘在VMware当中新增一块磁盘第二步：开机之后进行磁盘挂载df -lhfdisk -l开始分区fdisk /dev/sdb这个命令执行后依次输 np1回车回车wfdisk -l格式化我们的分区mkfs -t ext4 -c /dev/sdb1格式化我们的分区mkdir /data02将我们的分区...

1. Spark 集群结构名词解释Driver该进程调用 Spark 程序的 main 方法, 并且启动 SparkContextCluster Manager该进程负责和外部集群工具打交道, 申请或释放集群资源Worker该进程是一个守护进程, 负责启动和管理 ExecutorExecutor该进程是一个JVM虚拟机, 负责运行 Spark Task运行一个 Spark 程序大致经历如下几个步骤

Oracle的官方JDK下载需要注册，且会出现下载到最后一点就限速的情况，这里放一下已经下载好的JDK连接：版本是jdk-8u221-linux-x64.tar.gz链接：https://pan.baidu.com/s/1GZnUwB3nraObgperKlmBCg提取码：17xx1.原有虚拟机jdk的卸载：一般Vmware虚拟机安装后，会有自带的jdk- openjdk查看命令：r...

Vmware虚拟机复制克克隆后MAC地址IP地址修改：步骤1：步骤2：更改mac地址：vim /etc/udev/rules.d/70-persistent-net.rulesname修改为 eth0 , 这里的mac地址，就是图一生成，如果还有其他配置，删除即可。步骤3：更改ip地址vim /etc/sysconfig/network-scripts/ifcfg-eth0...

Linux要进行OpenCV的升级，卸载原理的OpenCV – 2.4.9版本，安装 OpenCV – 3.3一 、卸载：OpenCV的卸载，好多文章提到了build目录，需要执行 sudo make uninstall 如果没有，还需要重新安装云云，感觉应该可以，毕竟好多博客中都这样写了，但是只用一个方法，就行全局搜索，然后删除，简单粗暴！步骤1： 查看目前安装的OpenCV版本：pkg...