如果无法快速定位出异常原因，会造成更多的异常 glass，严重影响生产。当时的技术栈用的是CDH，首先通过kafka采集的数据， spark对接kafka进行初步计算去噪并汇总到hadoop里面，以parquet的格式保存，有需要进一步的加工，通过impala进行一步的加工，每天挂起N个任务，不停的调度计算。TDengine不需要对数据进行修改，所以不需要考虑数据一致性的问题，数据是以有序的规律并