在接口开发过程中，如果数据源的数据是连续插入进入源表中，并且当新数据到达时，老数据不会被删除。而业务处理过程中，只需要最新一批的数据时，我们可以对数据的create_time进行开窗倒序排序，然后只取rn=1的数据，保证每次取得的结果都是最新数据。其中还分两种不同的业务需求：

使用flume很方便，架构方面source, channel，sink不是分布式的，没有高可用。但是如果结合kafka channel之后还是不错的。

开发公司为Zendesk公司开源，用java编写的MySQL变更数据抓取软件。内部是通过监控MySQL的Binlog日志，并将变更数据以JSON格式发送到Kafka等流处理平台。

external关键字可以让用户创建一个外部表，在建表的同时可以指定一个指向实际数据的路径（location），在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。A选项：Parquet文件是以二进制方式存储的，所以是不可以直接读取的，从某个角度来说不是很准确，是可以读取和解析的，但解释为不可以直接读取也是正确的。C选项是正确的，存在该参数，在hive/conf/h

开发公司为Zendesk公司开源，用java编写的MySQL变更数据抓取软件。内部是通过监控MySQL的Binlog日志，并将变更数据以JSON格式发送到Kafka等流处理平台。