logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hive框架(三) —— 解析json数组

解析json数组的函数通常有get_json_object()json_tuple()split()explode()regexp_replace()lateral viewget_json_object() 一次只能解析一个key,当需要解析多个字段时,不好用于是使用 json_tuple() 函数,结合lateral view() 使用一个解析json数组的思路:对于如下的字段,其中内容是[{

#json#hive
大数据组件学习3 —— Kettle

Kettle, 现名 PDI ,是一款开源的ETL工具,基本概念包括1. Transformation 和 JobTransformation, 转换, 处理各阶段对数据行的操作,并行处理组件.基本分发方式分发:以轮流的方式将一行数据发个一个一个数据流复制:将一行数据发给所有数据流基本组成部分步骤(steps):每一个步骤都对应一个独立的线程,所有步骤以并发方式进行。转换一旦启动,所有步骤同时运行

#etl
matplotlib画图时保存图片空白的问题,

如何解决画图的问题,写论文需要eps,导入latex,结果预览结果为空表,后来发现是下面的情况导致:  jupyter notebook在一行保存不会有空白plt.plot(x, np.sin(x))plt.savefig('figures/02.03-sine.png')12分两行运行,则出现保存的空白。参考: http://blog.csdn.net/u010...

到底了