第一步：虚拟机关机新增磁盘在VMware当中新增一块磁盘第二步：开机之后进行磁盘挂载df -lhfdisk -l开始分区fdisk /dev/sdb这个命令执行后依次输 np1回车回车wfdisk -l格式化我们的分区mkfs -t ext4 -c /dev/sdb1格式化我们的分区mkdir /data02将我们的分区...

1. Spark 集群结构名词解释Driver该进程调用 Spark 程序的 main 方法, 并且启动 SparkContextCluster Manager该进程负责和外部集群工具打交道, 申请或释放集群资源Worker该进程是一个守护进程, 负责启动和管理 ExecutorExecutor该进程是一个JVM虚拟机, 负责运行 Spark Task运行一个 Spark 程序大致经历如下几个步骤

Oracle的官方JDK下载需要注册，且会出现下载到最后一点就限速的情况，这里放一下已经下载好的JDK连接：版本是jdk-8u221-linux-x64.tar.gz链接：https://pan.baidu.com/s/1GZnUwB3nraObgperKlmBCg提取码：17xx1.原有虚拟机jdk的卸载：一般Vmware虚拟机安装后，会有自带的jdk- openjdk查看命令：r...

Vmware虚拟机复制克克隆后MAC地址IP地址修改：步骤1：步骤2：更改mac地址：vim /etc/udev/rules.d/70-persistent-net.rulesname修改为 eth0 , 这里的mac地址，就是图一生成，如果还有其他配置，删除即可。步骤3：更改ip地址vim /etc/sysconfig/network-scripts/ifcfg-eth0...

Linux要进行OpenCV的升级，卸载原理的OpenCV – 2.4.9版本，安装 OpenCV – 3.3一 、卸载：OpenCV的卸载，好多文章提到了build目录，需要执行 sudo make uninstall 如果没有，还需要重新安装云云，感觉应该可以，毕竟好多博客中都这样写了，但是只用一个方法，就行全局搜索，然后删除，简单粗暴！步骤1： 查看目前安装的OpenCV版本：pkg...

1、简介kafka是最初由linkedin公司开发的，使用scala语言编写，kafka是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。1.2、支持的语言kafka目前支持多种客户端的语言：java、python、c++、php等1.3、apache kafka是一个分布式发布-订阅消息系统apache kafka是一个分布式发布-订阅

Flink流处理的Source基于集合基于文件基于Socket自定义数据源使用Kafka作为数据源使用MySql作为数据源Flink流处理的Transformationkeybyconnectsplit和selectFlink流处理的Sinksink到kafkasink到mysqlFlink的Window操作时间窗口计数窗口自定义窗口Flink的水印机制1. 输入数据集DataSourceFlin

对于这些复杂的查询，es使用javaAPI都可以实现，但是相较于sql语句来说，我们更加熟悉sql语句，所以es也提供了sql语句的开发，让我们通过sql语句即可实现ES的查询，接下来我们就来安装并学习sql的插件的使用方法吧！在es版本6.3之前都不支持sql语句的开发，如果需要使用sql语句来开发es的数据查询，那么我们需要手动的自己安装插件，插件下载地址如下，地址：https://githu

一 定义机器学习是从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测二 为什么需要机器学习解放生产力：智能客服：不知疲倦24小时小时作业量化投资：避免更多的编写策略、交易人员医疗：帮助医生辅助医疗解决专业问题：ET医疗提供社会便利：杭州的城市大脑三 机器学习应用场景3.1 用在挖掘、预测领域：应用场景：店铺销量预测、量化投资、广告推荐、企业客户分类、SQL语句...

一 数据集1.1 数据集的划分机器学习一般的数据集会划分为两个部分：训练数据：用于训练，构建模型测试数据：在模型检验时使用，用于评估模型是否有效划分比例：训练集：70% 80% 75%测试集：30% 20% 30%APIsklearn.model_selection.train_test_split(arrays, *options)x 数据集的特征值y 数据集的...