文章目录前言代码FlumeKafkaFlink总结前言最近在学习如何从零实现一个完整的实时数仓项目，便自己想了一个需求练练手。简单介绍一下，模拟词典工具的PV统计。每个用户查询一个单词便记录到日志，实时统计前5分钟查询的人数。大概的效果如下，需要注意，生产环境中，这个图在不断更新最近五分钟的数据。也就是说，12点的时候只能看到当天12点前的数据，下面这张图是接近24点才能看到的数据。要做这个项目练

文章目录前言调用示例例题求解命令介绍具体实现步骤1：化标准式步骤 2：编写偏微分方程的系数向量函数步骤3：编写初始条件函数步骤 4：编写边界条件函数步骤 5： 取点主程序前言在python3安装fipy失败之后，懒得下载python2的我还是选择了matlab。调用示例例题求解命令介绍具体实现步骤1：化标准式步骤 2：编写偏微分方程的系数向量函数function[c...

python爬取flume转发flume沉槽到spark有push和poll两种方式，我这里使用的是较为简单的pusha1.sources = r1a1.sinks = k1a1.channels = c1#sourcea1.sources.r1.type = syslogudpa1.sources.r1.bind = node102a1.sources.r1.port = 7777#channe

问题求数据流中最频繁的元素，下面用MG算法近似解决求解这个问题。代码Javaimport java.util.*;public class FrequentElement {public static void main(String[] args) {int k = 3;//计数器的个数Random random = new Random...

前言在公司实习需要用到虚拟机进行测试，但是自己重装一下环境太麻烦，而且即便安装好了跑集群的时候再开发代码性能也不高。于是，自己找了一个省事的解决方案，图示如下：办公机为公司发的，宿主机器是自己以前的笔记本，虚拟机就是笔记本当中以前的集群。步骤1. 进入同一网段建议手机热点公司局域网可能不允许自己的账户登入两个，而且即便登入了也不一定在同一网段。2.查看ipipconfig /all找到无线局域网的

文章目录虚拟机安装新建虚拟机centos安装环境准备子网组建宿主机网卡配置虚拟机网卡配置集群搭建基础配置kube相关配置虚拟机安装新建虚拟机自定义安装就用默认空白光盘，然后选自己将用的版本；建议centos，而且得centos7以上，我用的是CentOS-7-x86_64-Minimal-1810.iso如果上面搜狐镜像的链接失效了，点击进入另一篇博客，选一个就行。虚拟机名称自定义...

文章目录前言HBase创建表kafka创建topic消费topic控制台消费者HBase消费者消费者组设置插入方法封装构造rowKeymain方法flume代码运行前言如果你只是想锻炼一下数据采集而不是callLog项目的所有环节，那么可以直接下载我的文件来进行数据采集。HBase首先确认dfs和HBase正常运行，然后进入HBase SHELL创建表我在创建的时候指定了三个分区点，也...

文章目录问题解法1数据分析1.1数据可视化1.1.1读取所有数据并且画图1.1.2读取某一天数据并画图1.2用水流量2典型用水模式2.1独热编码2.1.1映射日期2.1.2编码向量2.2聚类评估2.3 K均值分类问题解法作为小白的我，自己实在没找出什么合适的办法，便只能查阅大佬们的论文，发现了一篇非常棒的，就复盘了一下。原文链接如下http://www.yndxxb.ynu.edu.cn...