一、说在前面的话一些涉及数据分析处理的系统，常常需要将先将业务系统中关系数据库内的数据（离线）抽取到自己的数据库中（当前比较流行的开源MPP数据库如Greenplum）以便进行后续处理，鉴于每次进行全量数据抽取，全量分析处理代价较大，需要计算同一张表前后两次的全量数据计算变化量，这种变化量数据包括insert、update、delete等，后续分析处理只针对这些变化量数据进行，由于业务系统中变化.

- 1. Webbench Webbench是一个在linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的性能，最多可以模拟3万个并发连接去测试网站的负载能力。Webbench使用C语言编写, 代码实在太简洁，源码加起来不到600行。下载链接：http://home.tiscali.cz/~cz210552/web

一、节点规划节点IP地址etcd节点172.17.207.244master节点172.17.207.246node节点1172.17.207.247nodes节点2172.17.207.248二、安装步骤1、下载kubeaszwget https://github.com/easzlab/kubeasz/releases/download/2.2.1/easzupchmod +x ./easzu

一、PostgreSQL/Greenplum数据库do $$beginFOR ii IN 1..10000 LOOPINSERT INTO "public"."t_tang_user_2" ("number","name","sex","card_type","uid","status","pingyin","ph...

一、工作流引擎在OA或一些流程处理的系统项目中，常常会涉及工作流开发相关。Flowable是一个流行的轻量级的采用Java开发的业务流程引擎，是基于Activity5.0的一个分支开发的。通过Flowable流程引擎，我们可以部署BPMN2.0的流程定义(一般为XML文件)，通过流程定义创建流程实例，查询和访问流程相关的实例与数据，等等。flowable的github地址：https://gith

一、做读写分离的原因数据库写入效率要低于读取效率，一般系统中数据读取频率高于写入频率，单个数据库实例在写入的时候会影响读取性能，这是做读写分离的原因。二、MySQL读写分离的基础实现方式主要基于mysql的主从复制，通过路由的方式使应用对数据库的写请求只在master上进行，读请求在slave上进行。三、实现读写分离的原理与方案1、基于MySQL proxy代理的方式在应用和数据库之间增加代理层，

k8s的标签和标签选择器

PostgreSQL与es的数据同步方案调研1、logstash基于时间戳，或者id增量同步，且不能实时同步暂不考虑2、pg-es-fdwhttps://github.com/Mikulas/pg-es-fdw?spm=a2c4e.10696291.0.0.4c7b19a49sHIXLpython> = 2.7 ❤️，任何elasticsearch（基于两年前的情况），postgres&gt

ElasticSearch的多字段分组聚合的三种实现方式一、ElasticSearch的分组聚合官网文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-terms-aggregation.html#_multi_field_terms_aggregation实

(1) OGGOracle GoldenGate 是一款实时访问、基于日志变化捕捉数据，并且在异构平台之间迚行数据传输的产品。GoldenGate TDM是一种基于软件的数据复制方式，它从数据库的日志解析数据的变化（数据量只有日志的四分之一左右）。GoldenGate TDM将数据变化转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式，而且可以通过高达10:1的压缩率对