tx-lcn是本地事务协调，本身并不会产生事务seata 是两阶段提交事务，第一阶段解析业务sql并生成对应快照，第二阶段是提交/回滚，并删除快照

1.所需依赖<dependency><groupId>org.apache.bahir</groupId><artifactId>flink-connector-redis_2.11</artifactId><version>1.0</version></dependency>2.redisSink/*

通过共享目录上传sqoop首先下载sqoop压缩包，上传至共享目录解压sqoop进入docker得共享目录,将压缩包移动至指定位置，并进行解压tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz配置sqoop进入解压后得sqoop的conf目录修改sqoop-env.sh#sqoop-env.sh默认不存在cp sqoop-env-templat

Kafka Streams流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高，同时一般是先定义目标计算，然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率，往往尽可能采用增量计算代替全量计算。批量处理模型中，一..

Kafka Streams流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高，同时一般是先定义目标计算，然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率，往往尽可能采用增量计算代替全量计算。批量处理模型中，一..

背景前段时间，为了降低用户使用ElasticSearch的存储成本，我们做了数据的冷热分离。为了保持集群磁盘利用率不变，我们减少了热节点数量。ElasticSearch集群开始出现写入瓶颈，节点产生大量的写入rejected，大量从kafka同步的数据出现写入延迟。我们深入分析写入瓶颈，找到了突破点，最终将Elasticsearch的写入性能提升一倍以上，解决了ElasticSearch瓶颈导致的

环境搭建1.es安装选用版本6.6.22.kibana安装选用版本6.6.23.fluentd安装选用版本td-agent3.7.1td-agent.conf中配置说明fluentd官网https://docs.fluentd.org/parser/multiline###### Output descriptions:### Treasure Data (http://www.treasure-

环境搭建1.es安装选用版本6.6.22.kibana安装选用版本6.6.23.fluentd安装选用版本td-agent3.7.1td-agent.conf中配置说明fluentd官网https://docs.fluentd.org/parser/multiline###### Output descriptions:### Treasure Data (http://www.treasure-

1.INSERT INTO SELECT语句语句形式为：Insert into Table2(field1,field2,…) select value1,value2,… from Table1 [where column =value][]为可选内容要求目标表Table2必须在由于目标表Table2已经存在，所以我们除了插入源表Table1的字段外，还可以插入常量。示例如下：insert in

Stream APIStream API是Storm的另一种替代接口。它提供了一种用于表达流式计算的类型化API，并支持功能样式操作。快速入门StreamBuilder builder = new StreamBuilder();KafkaSpout<String, String> spout = KafkaSpoutUtils.buildKafkaSpout("CentOS...