大数据导入Mysql踩坑涉及技术简述踩坑及处理后记涉及技术简述微服务架构，k8s部署管理，大数据导入数据库的功能涉及两个服务，一个负责csv文件的定时读取，一个负责文本的处理及入库。读取服务会将文件内容按OLT粒度涉及的硬件消息，分为约5000条5~10kb的消息发送到kafka指定Topic的同一个分片，此项目分区pattern只设置了2个。均匀分发消息。处理入库服务则是从消息队列读取消息。然后

大数据导入Mysql踩坑涉及技术简述踩坑及处理后记涉及技术简述微服务架构，k8s部署管理，大数据导入数据库的功能涉及两个服务，一个负责csv文件的定时读取，一个负责文本的处理及入库。读取服务会将文件内容按OLT粒度涉及的硬件消息，分为约5000条5~10kb的消息发送到kafka指定Topic的同一个分片，此项目分区pattern只设置了2个。均匀分发消息。处理入库服务则是从消息队列读取消息。然后