1spark 提交主要参数1.1 num-executors此数量代表 spark的executors数量， 所有的task在executor中运行。1.2 executor-cores此数值代表每个 executor中可以并行运行的task数。 一般一个任务使用1核，此值等同于1个executor占用的CPU核心数。1.3 executor-memory此参数指定了每个 executor占用的内

从数值来看， 年份和工资相比数值太小， 对整个模型的影响基本上可以忽略。（方差计算的是数据平方， 个体数据相差值会放大，所以开方求平方根可以缩小换算回来。机器学习中， 特征值通常相差比较巨大，不同维度的特征值相差巨大，导致部分特征影响微乎其微，用来做训练效果不好。Xnew =x - mean(x)/ std(x)[均值标准差】举个例子， 工作年数和 工资收入作为特征值，来构建预测模型。因此，我们需

从数值来看， 年份和工资相比数值太小， 对整个模型的影响基本上可以忽略。（方差计算的是数据平方， 个体数据相差值会放大，所以开方求平方根可以缩小换算回来。机器学习中， 特征值通常相差比较巨大，不同维度的特征值相差巨大，导致部分特征影响微乎其微，用来做训练效果不好。Xnew =x - mean(x)/ std(x)[均值标准差】举个例子， 工作年数和 工资收入作为特征值，来构建预测模型。因此，我们需

基于centos7.5，安装OS时安装包比较齐全。1 Python安装。需要Python 3.5+1.1wget --no-check-certificate https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz1.2 解压编译安装到：/usr/local/python3./configure --pr...

从数值来看， 年份和工资相比数值太小， 对整个模型的影响基本上可以忽略。（方差计算的是数据平方， 个体数据相差值会放大，所以开方求平方根可以缩小换算回来。机器学习中， 特征值通常相差比较巨大，不同维度的特征值相差巨大，导致部分特征影响微乎其微，用来做训练效果不好。Xnew =x - mean(x)/ std(x)[均值标准差】举个例子， 工作年数和 工资收入作为特征值，来构建预测模型。因此，我们需

1 CDH环境，HDFS无法做任何操作，报错信息连接Namenode节点失败，处于safemode。2 查看HDFS 实例，红色警告，不能创建/tmp/.cloudera.....3 查看 namenode日志: /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-cdh00.log.out报错信息：org.apache.......

1 yarn web ui:Apps Submitted：已提交的应用Apps Completed：已完成的应用Apps Running：正在运行的应用Containers Running：正在运行的容器Memory Total：集群总内存Memory Used：已使用内存VCores Total：集群 CPU 总核数VCores Used：已使用的 CPU 核数Memory Reserved：预

NotAssignedReplicaExceptionkafka.common.KafkaException: Should not set log end offset

参考文档：https://www.jianshu.com/p/dd73b318e743vi jaas.confKafkaClient{com.sun.security.auth.module.Krb5LoginModule requireduseTicketCache=true;renewTicket=true;};vi client...

Flink比较完美的支持kerberos读写Kafka.1flink-conf.yaml , 将如下涉及kerberos的配置注解去除2 代码读写kafka示例如下：def main(args: Array[String]): Unit = {val params: ParameterTool = ParameterTool.fromArgs(args)...