
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
大数据文件批处理(上亿数据量)
通过死循环去进行读,每一次循环读取5000条,第一次循环时读取文件1-5000行的数据,第二次循环时读取5000-10000行的数据,以此类推,直至读到最后一页,在读取的数据小于5000时,则代表文件的读取到了尾声。同时在每次读取完文件后直接将读取的数据开一个线程去进行处理,做到边读边处理的功能,单纯读取速度较快,9000w行,6G内存的文件读取速度在18秒。文件在进行跑批时,可能会存在上亿的数据
到底了







