有时候,一般并不是本地数据取数到本地,客户一般是链接形式给我们,从链接API接口取数到我们数仓(数据库),

以下讲解实战操作

操作步骤

1、运行软件,进入主界面。点击左上角的 文件 → 新建 → 转换新建一个转换,并保存,转换的后缀名为ktr。

2、点击面板左侧的 主对象树 ,选择 DB连接 右键,选择 新建 或 新建数据库连接向导 分别创建对数据库A和数据库B的连接。

注意: 如果在点击测试连接时出现下图所示错误,检查我们的安装目录下的lib中是否有对应数据库连接的jar包文件(如mysql的jar文件:mysql-connector-java-5.1.6-bin.jar),下载对应的jar,放到lib文件夹下,重启kettle软件,即可。

点击面板左侧的 核心对象 ,选择 输入文件夹下的 表输入 并把它拖到右侧的编辑区中

3. 首先会有客户的一个API文档说明(客户不同,内容不同,大致相同)

4、将链接复制到浏览器,会得到一堆JSON值以及参数

5、客户链接一般不止一个,为了方便取数,我们将URL地址全部手动维护到需要转入的(数仓)数据库

6、双击表输入,输入SQL查询第一个URL地址,必须点击预览,否则后面会没有数据

7、拉入一个HTTP client,目的1:取我们手工维护URL表的URL字段(我的是字段叫URL)。2:获取链接地址的返回结果字段(result)

8、双击HTP client,选择从字段中获取URL,URL字段名这个东西就是图7 说明的 你手工维护表字段名。下面的j结果字段名就是客户所给的信息里面的result请求结果参数,Fields不用填

 9、这个字段意思是编码格式,如果客户数据库编码GBK,你的是UTF8,如果这里不改,内容会乱码

10、开始获取链接地址里面的字段

11、双击JSON Input,填写内容=文件:源定义在一个字段里✔。从字段获取源:result。如果之前内容合适,下拉会自动展现

11.1 开始输入字段参数,继续选择字段,里面有名称为API里面的字段名,路径固定格式$.data.[*].字段名

(说明:data为返回参数,客户提供,一般就是data,[*]意思就是里面内容比较对,我们以数组方式获取,如果没有可以不选)

12、根据我的图顺序走,数据库连接>>目标表(意思就是数据要引入到哪个表,表点击下面sql自动创建)>>获取字段(会通过JSON input获取到字段,然后调试左边不需要的字段)>>一定要运行sql(可以删除创建引入表所需要的东西)

13、点击sql>>执行>>关闭

14、到这里,我们从API取数已经建立完成了,点击“校验这个转换”,Kettle会校验并给出简单的报告。没有任何问题。

16、点击“运行这个转换”,选择“本地执行”,点击“启动”来执行这个转换。

17、转换成功后,我们可以在控制台中看到如下信息。检查本地数据库,接口的数据是否在我们本地数据库

至此,Kettle的API接口取数就基本完成了


上一章:Kettle入门之五 Kettle应用场景(增量插入和更新)https://blog.csdn.net/qq_43015592/article/details/107470146

下一章:Kettle进阶之二 通过接口API,POST请求参数,取到本地数据库(以钉钉实战操作演示)https://blog.csdn.net/qq_43015592/article/details/107519418

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐