数据中台要求全企业共用一个数据技术平台、共建数据体系、共享数据服务能力。实际上一个企业中由于各个业务线发展不均衡，各自都有独立的数据处理架构，导致共享数据非常困难，所以要构建数据中台不仅是对技术架构的改变，同时还是对整个企业业务运转模式的改变，需要企业在组织架构和资源方面给予支持。数据中台是一个企业战略行动，绝非一个项目组或者一个小团队就能做的，需要了解整个企业的业务情况，对业务进行梳理，还需要技

Kafka是另一个有趣的流处理系统，它的流是无限制的、不断更新的数据集。Grafana是一个开源的、功能丰富的度量仪表板和图形编辑器，用于Graphite、ElasticSearch、OpenTSDB、Prometheus和流数据库。随着越来越多的开源监控工具被开发来用于更具体的工作，没有一款工具的地位是完全稳固的。每一款都有可能被其他更高效、更安全的工具所替代。将这些工具结合起来使用看起来就像是

云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基 础设施和声明式 API这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段，云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更。云原生计算基金会（CNCF）致力于培育和维护一个厂商中立的开源生态系统，来推广云原生技术。

Airflow 采用 Python 语言编写，提供可编程方式定义 DAG 工作流，可以定义一组有依赖的任务，按照依赖依次执行， 实现任务管理、调度、监控功能。另外，Airflow 提供了 WebUI 可视化界面，提供了工作流节点的运行监控，可以查看每个节点的运行状态、运行耗时、执行日志等。也可以在界面上对节点的状态进行操作，如：标记为成功、标记为失败以及重新运行等。在 Airflow 中工作流上每

云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基 础设施和声明式 API这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段，云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更。云原生计算基金会（CNCF）致力于培育和维护一个厂商中立的开源生态系统，来推广云原生技术。

一、redis分布式锁的基本实现redis加锁命令：redisSETNX resource_name my_random_value PX 30000这个命令的做用是在只有这个key不存在的时候才会设置这个key的值（NX选项的做用），超时时间设为30000毫秒（PX选项的做用） 这个key的值设为“my_random_value”。这个值必须在全部获取锁请求的客户端里保持惟一。算法SETNX 值

一、redis事务的特性1.原子性这里的原子性跟mysql的原子性不一样。redis事务的原子性是说的：一次事务提交的多个命令，要么都不执行(watch发现某个key的值变了则不开始执行)，要么所有的命令都执行（一旦开始执行事务，事务中所有的命令都会执行，即使有命令报错了，后面的命令也会执行）报错不回滚！不回滚的原因：● Redis 命令只会因为错误的语法而失败，失败的命令是由编程错误造成的。而这

1.mongodb介绍MongoDB (名称来自"humongous") 是一个可扩展的高性能，开源，模式自由，面向文档的数据库。它使用C++编写。MongoDB特点:a.面向集合的存储：适合存储对象及JSON形式的数据。b.动态查询：mongo支持丰富的查询表达方式，查询指令使用JSON形式的标记，可轻易查询文档中的内嵌的对象及数组。c.完整的索引支持:包括文档内嵌对象及数组。mongo的查询优

一、主从同步/复制通过持久化功能，Redis保证了即使在服务器重启的情况下也不会丢失（或少量丢失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载数据。 但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出现故障，其他服务器依然可以继续提供服务。为此，

为什么说要搞定微服务架构，先搞定RPC框架？原创：58沈剑 架构师之路2016-08-25第一章聊了【“为什么要进行服务化，服务化究竟解决什么问题”】第二章聊了【“微服务的服务粒度选型”】今天开始聊一些微服务的实践，第一块，RPC框架的原理及实践，为什么说要搞定微服务架构，先搞定RPC框架呢？一、需求缘起服务化的一个好处就是，不限定服务的提供方使用什么技术选型，能够实现大公司跨团队的技术解耦，如下