使用spark streaming 实时统计新注册的用户流程如下：代码如下：1， 添加maven依赖<!--hive依赖--><dependency><groupId&a

在cdh5.6集群里，运行spark streaming on yarn 遇到的一些错误和异常：1, kafka生产者 java.lang.OutOfMemoryError为了测试spark-streaming-kafka 的程序是否正常运作，打包kafka正产者为可执行jar包， 提交到集群运行： java -jar xx.jar, 报如下错误D-&amp

使用ssc.awaitTermination()来退出，程序只能在开始的终端处control + c来结束，不方便管理， 所以使用自定义方法来替换掉： stopByMarkFile(ssc,hadoop_file)， 代码如下def stopByMarkFile(ssc:StreamingContext, hadoop_file:String):Unit= {val intervalM...

clickhouse删除旧的分区，清除旧数据

在ida中创建maven项目，配置scala环境，调用flink-streaming-scala的api1,配置pom.xml<dependency><groupId&amp

1，朴素贝叶斯公式：定义1.1 全概率公式：1.2 贝叶斯公式：设 x= {a1, a2, a3…, am } 为一个待分类项，而每个a为x的一个特征属性。有类别集合：C ={ y1, y2, y3 …, yn }计算一个概率集合U ： P(y1|x), P(y2|x), P(y3|x)…P(yn|x)x最可能的类别 <

heketi 项目介绍：https://github.com/heketi/heketi要点概况：参考的文档：https://www.jianshu.com/p/8f36e59ae4f8heketi 二进制包下载：https://github.com/heketi/heketi/releases编写systemd启动文件

概念： 基于物品的协同过滤算法，优化算法对比：用户协同过滤的优缺点python编码实现1，算法定义基于用户的协同过滤算法基于商品的协同过滤算法适用场景时效性较强,用户个性化兴趣不太明显的领域长尾物品丰富,用户个性化需求强烈的领域用户较少的场合：新闻推荐物品数远小于用户数的场合：图书、电子商务和电影网站注重点兴趣相似的小群体的热点维系用户的历...

1, 业务实现流程2, 具体代码

1, vagrant网络配置类型配置方法dhcpconfig.vm.network “private_network”, type: “dhcp”staticconfig.vm.network “private_network”, ip: “192.168.x.x”bridgeconfig.vm.network “public_network”, bridg......