logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据笔记-大数据处理流程

3)数据清洗和预处理:收集到的数据可能包含噪声、缺失值和异常值,在入库之前,需要对数据进行清洗和预处理,以确保数据的质量和准确性。前端采集设备常常以最小数据字段集来传输数据包,特别是采取无线网络传输的,尽量让数据包小一些,当数据到了数据网关之后,可能我们会补齐一些字段,比如从设备ID映射出设备所在地址、区域、厂商等等,这些字段补齐之后去入库,方便之后数据查询分析。同时,还需要遵守相关的法律法规,保

文章图片
#大数据#架构
大数据笔记-关于Cassandra的删除问题

Cassandra删除引起进程崩溃 墓碑问题 k8s部署

文章图片
#大数据
启动项目--项目背景

项目管理实践之一怎样启动一个项目,好像就是收集项目需求。很多中小公司,技术经理就是项目经理,常常更加关注项目采用什么系统架构。尽管项目经理很努力,项目还是经常发生失败现象,或者延迟严重等。项目经理怎么办?努力去理解项目的背景是必须的。我一般会这么去分析项目背景,如下图:

到底了