无论是使用Linux自带crontab程序，还是使用cron-utils的crontab语法解析，都存在整点运行问题。问题来源使用crontab语法的时候，如果是固定间隔运行，如00/5* * * *30 */30 * * * *...其中分钟间隔只能是60的因子，如果不是60的因子，那么存在整点运行问题。如运行计划为10 0/29 * * * *那么运行时刻可能为Mon Oct 09

1. 准备工作1.1. MySQL账号根据Canal官方说明，需要申请一个MySQL数据库的账号，该账号具有如下权限CREATE USER canal IDENTIFIED BY 'canal';-- 至少具有如下权限GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'...

  接触DataX是基于公司离线数据同步需求，从而开始接触到DataX的使用。前异构数据之间开源同步工具，主要有Sqoop  Sqoop是一款开源的工具，主要用于Hadoop与传统RDBMS之间的数据同步，可以将RDBMS中的数据同步到HDFS中，也可以进行逆向操作。主要是基于MR任务的进行同步，具有支持并发、增量更新、支持海量数据同步等优点。  Sqoop Wiki  Sqoo...

  在日常工作中，经常遇到一下日期时间格式转化。例如时间比较、时间格式化、从字符串转化为日期等操作，本文将日常要的这些操作进行汇总备忘。一、时间日期想要时间格式比较，需要转化为统一的数据类型，例如转化为统一的Date类型，或Time类型，或DateTime类型。1.1 Date操作#!/bin/python# -*- coding: UTF-8 -*-import timeimpo...