iot采集的数据存大数据 物联网 工业互联网
iot采集的数据存大数据 物联网 工业互联网
·
现在的负责的系统中，其中一个叫EMS，其数据链路为：
传感器采集 --> 厂商的转发服务器 --> iot平台（其中有的厂商转发过来的数据需要处理，在iot前面会多加一个emq转发服务器）--> 大数据（大数据的定时任务将这些实时数据存数据库clickhouse）--> EMS（EMS的定时任务每10分钟对这些实时数据进行一次汇总计算，落表，mysql数据库）
大数据的这张单表，每天10亿-12亿条数据，大概50G。平均一条数据40-50个Byte。
而且是3个副本。
目前已经存了3年的数据。5000亿条数据。
一般保存3个月就够了，也可以半年。
因为都是实时数据，计算完了落到mysql的表里其实也就没用了。少部分功能，像组态图、实时数据展示等，会要求当天的数据。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)