logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据-玩转数据-Spark-Structured Streaming 容错(python版)

大数据-玩转数据-Spark-Structured Streaming 容错(python版)说明:由于网络问题,链路中断,系统崩溃,JVM故障都会导致数据流的运行结果出现错误,Spark设计了输入源,执行引擎和接收器多个松散耦合组件隔离故障。输入源通过位置偏移量来记录目前所处位置,引擎通过检查点保存中间状态,接收器使用“幂等”的接收器来保障输出的稳定性。我们希望数据是它产生的时间,而不是到达的时

#spark#big data#python
大数据-玩转数据-Flink 自定义Sink(Mysql)

如果Flink没有提供给我们可以直接使用的连接器,那我们如果想将数据存储到我们自己的存储设备中,mysql 的安装使用请参考。

文章图片
#大数据#flink#mysql
大数据-玩转数据-Flink 自定义Sink(Mysql)

如果Flink没有提供给我们可以直接使用的连接器,那我们如果想将数据存储到我们自己的存储设备中,mysql 的安装使用请参考。

大数据-玩转数据-Flink RedisSink

可以根据要写入的redis的不同数据类型进行调整。具体版本根据实际情况确定。

文章图片
#大数据#flink
大数据-玩转数据-vmware虚拟环境搭建网络补充

大数据-玩转数据-vmware虚拟环境搭建网络补充如要把虚拟机网络桥接模式改为NAT模式1、把你的虚拟机打开,启动系统成功后,在虚拟机-设置,修改网络连接为NAT模式。2、虚拟机里,打开编辑-虚拟网络编辑器-查看NAT模式-NAT设置,记住系统生成的网关(可修改,修改最后一个网段值)。3、然后在物理机也就是你的宿主机里找到网络连接,启用VM8网卡,然后禁用其他的VM网卡,设置其IP的网关为虚拟机中

#网络#big data#运维
大数据-玩转数据-FLINK-从kafka消费数据

运行本段代码,等待kafka产生数据进行消费。

文章图片
#大数据#flink#kafka
到底了