克隆虚拟机由于我们使用VMWare创建的CentOS虚拟机，所以我们可以直接克隆虚拟机，就减少了安装的时间，提高效率。虚拟机安装及配置网络，请参考：https://blog.csdn.net/Johnson8702/article/details/80924322若你是在一台pc机上配置集群环境，就可以按照一下步骤连续克隆出两个虚拟机分别是slave01、slave02...

1、安装虚拟机注：文档中没有提到的步骤默认下一步通过键盘：Ctrl+N 调出新建虚拟机的窗口化选择“自定义”一直下一步到完成：点击虚拟机中的“编辑虚拟机设置 ”在第2步这里，选择下载好的本地ISO映像文件 之后开启虚拟机等待一小段时间后，弹出的第一个窗口是检测光盘文件的完成性，选择“Skip”跳过即可（如果怀疑映像文件的完整性，可...

 首先，说明一下开机画面和登录画面的区别。开机画面是Linux开机后在虚拟机上显示的画面。登录画面是用远程连接工具，比如Xshell，连接Linux系统后，Xshell上显示的画面。 以上是本人虚拟机的开机和登录画面，在本文中将以以上画面为例演示如何设置自己的开机或登录画面。 一、设置Linux系统的开机画面编辑/etc/issue文件，添加开机画面内容[r...

 首先，说明一下开机画面和登录画面的区别。开机画面是Linux开机后在虚拟机上显示的画面。登录画面是用远程连接工具，比如Xshell，连接Linux系统后，Xshell上显示的画面。 以上是本人虚拟机的开机和登录画面，在本文中将以以上画面为例演示如何设置自己的开机或登录画面。 一、设置Linux系统的开机画面编辑/etc/issue文件，添加开机画面内容[r...

本文将为大家介绍json解析并按照某个字段排序的方法。如果是汉字，转化为汉语拼音后，按照字典顺序排序。 原始json[{"proportionCost":0,"busiName":"aaav","userList":"李雷","allCost":53800,"liuCo

1、安装虚拟机注：文档中没有提到的步骤默认下一步通过键盘：Ctrl+N 调出新建虚拟机的窗口化选择“自定义”一直下一步到完成：点击虚拟机中的“编辑虚拟机设置 ”在第2步这里，选择下载好的本地ISO映像文件 之后开启虚拟机等待一小段时间后，弹出的第一个窗口是检测光盘文件的完成性，选择“Skip”跳过即可（如果怀疑映像文件的完整性，可...

最近，在协助其他同事测试flink消费kafka数据，窗口计算的准确性问题。1、现象同事往kafka发送数据，结果窗口一直无法触发计算。但是使用我的mock代码，往kafka发送数据时，窗口计算正常触发。2、问题经过排查，同事的代码把所有的数据发往kafka的一个分区；我的代码会负载均衡，发到所有分区。3、分析kafka有三个分区，flink程序会读取到来自三个分区的数据，并取每个分区的最新时间作

一、数据接收并行度调优——创建更多的输入DStream和Receiver通过网络接收数据时（比如Kafka，Flume），会将数据反序列化，并存储在Spark的内存中。如果数据接收成为系统的瓶颈，可以考虑并行化数据接收。每个输入DStream都会在某个Worker的Executor上启动一个Receiver，该Receiver接收一个数据流。因此可以通过创建多个输入DStream，并配置它们接..

一、数据倾斜定位通过 Web UI 各个 SubTask 的 Records Sent 和 Records Received 来确认，另外，还可以通过 Checkpoint detail 里不同的 SubTask 的 State Size 来判断是否数据倾斜。例如上图，节点 2 的数据量明显高于其他节点的数据量，数据发生了很严重的倾斜问题。二、数据倾斜的解决办法2.1 keyBy 前的数据倾斜这种

一、前言严格来讲，kafka删除topic并不是很难，但是步骤比较麻烦，稍有不慎就会失败。本文就kafka删除topic的步骤做出详细解析。 二、详细步骤①停止kafka服务停止kafka的所有的消费者和生产者，关闭kafka，防止在删除topic之后，程序发现topic不存在而自动创建topic②修改配置文件在kafka安装目录的conf目录下，修改server.pr...