前言

项目中大部分的定时任务采用的是KETTLE这种开源工具来进行数据共享和推送的,任务执行情况需要人工定期巡检,任务较多,容易疏漏,本文记录了一种kettle巡检的方式,读者可以参考一下 。


提示:以下是本篇文章正文内容,下面案例可供参考

一、kettle配置日志记录

首先在项目的数据库中,建立几张存储kettle日志用的table,这几个表名字随意,字段的名称参考ketle的要求(具体打开一个ktr,右键空白区域,选择转换设置,在转换属性页面选择日志选项卡,里面有转换、步骤、运行、日志通道等日志类型,参照日志字段建立表字段)。
kettle日志表
转换属性页面
配置好日志数据库连接、表模式、日志表名称 日志记录间隔时间、日志过时时间、以及保存的日志行数限制(日志记录间隔时间设置短些,比如1秒一次,这样数据库随时刷新随时有最新的日志。日志过时时间根据需要,我这里保留日志30天),这样执行ktr后,数据库对应的表里面就会有日志数据。
在这里插入图片描述

二、自动巡检

自动巡检涉及到的知识点有两个,1是kettle执行错误的数据存储到excel里面,2是任务的执行情况通过邮件的方式发送到指定的邮箱。
首先、我们在执行一个ktr从A表往B表里面抽取数据的时候,经常会遇到一些愿意导致数据插入不到目标库,比如说目标库的字段值小了,或者抽取的数据中某个字段没有值,但是目标库要求非空,这就会导致任务失败,遇到这种问题排查就比较麻烦,这里我我采用kettle的主错误输出步骤将插入失败的数据输出到excel,再通过查看excel的第一条数据的长度来判断,是不是出现了长度方面的问题。具体的配置见截图。
在这里插入图片描述
其次、完成了文件输出后,我们总不能时不时的去服务器上看是不是有这个文件来判断任务是不是异常了吧,这时就要用到自动发送邮件的组件,利用组件查询数据库日志,简单的规则检验后,将结果以邮件的形式发送出去。这里举一个我配置的截图,读者参照配置即可
在这里插入图片描述
在这里插入图片描述
注意,截图里面没有标注清楚,这个密码是你在你的邮箱管理页面申请的授权码
163邮箱授权码获取方式
发送邮件设置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
按照以上配置好后,执行ktr,就能收到任务执行情况的日志了。

总结

路漫漫其修远兮,吾将上下而求索。

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐