内存优化——chunksize、内存释放、矩阵压缩、datatype转换、去除冗余前言选择正确的方法ChunkSize内存释放制作json（或字典）矩阵压缩datatype转换去除冗余前言之前工作很少遇到内存方面的困扰。前段时间朋友找我帮忙做一家某小型上市银行一年期的交易数据JE，百亿量级。吭哧吭哧写完代码，结果放在她的本地运行直接内存爆掉。于是稍微尝试了一些内存优化的方法，记录一下心德。选...

"黑产"识别算法前言黑产的特性通过业务特性识别通过关联关系识别（非监督学习）通过行为相似度识别（非监督学习）通过用户画像识别(分类、预测)前言我们讨论的黑产识别，实务上并非单纯算法的问题，在更多的情况下，是一种基于经验性、合规性对于业务全流程和每一个节点的风险控制手段。黑产的特性黑产即黑色产业，是利用非法手段获利的行业或群体。其中当下处在风口浪尖的便是“网络黑产”。但是黑产，并不单单是通过网络手段