信息化蓬勃发展，带来数据的爆发式增长。在云计算和大数据时代，基于数据开展生产、运营、决策成为常态，数据的存储及应用体系是企业生态运转的中枢神经。近日，全球最具权威的第三方IT研究与顾问咨询公司Gartner联袂广州市品高软件股份有限公司最新合作的报告：《基于数据湖架构的大数据平台》（Big data platform based on Data Lake Architecture）正式发布，双..

众所周知，Ajax 可以使得 Web 应用程序的响应速度提高一大块，然而云计算和 SaaS(Software as a Service) 的用户仍然期望获得更快的响应速度，那 Web 应用程序还能更快吗？答案是肯定的。随着硬件技术的不断升级，客户端计算机的计算能力逐步提高，如果 Web 应用程序可以充分利用闲置的客户端计算能力，那将进一步提高其响应速度，但如何充分利用客户端计算能力便成了开发者新的

DataOps(数据操作)是一门新兴学科，将DevOps团队与数据工程师和数据科学家角色结合在一起，提供一些工具、流程和组织结构服务于以数据为中心的企业。和DevOps一样，DataOps方法也从敏捷方法中获得了启发。DataOps方法很重视持续交付分析见解，其主要目的是满足客户需求。 DataOps团队重视分析工作。他们通过所提供的见解来衡量数据分析工作的性能。DataOps团队会接受变化，并始

linux下apache启用ssl

zookeeper.connect  zookeper所在机器可多个逗号分隔auto.create.topics.enable自动创建topicauto.leader.rebalance.enableleader  当一个broker恢复，这个broker只会存储复本，这意味着它不会参与任何读写，造成了集群的不平衡，开启，kafka自动做balancebackgro

broker级别的参数可以由topic级别的覆写，不是所有的broker参数在topic级别都有对应值覆写方法 可以在创建或创建后由--config修改创建时> bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1        --repl

Partitions and Memory Usagereplica.fetch.max.bytes 每个partition都分配一个buffer给replica,如果分配1M,如果有1000个partition就需要1G的内存需求考虑有充足的内存fetch.message.max.bytes同样的考虑也适用于consumer，对于大文件需要确保有充足的内存接收，大文件可能

kafka connect是一个kafka与其他系统进行数据流交换的可扩展并且高可用的工具它可以简单定义connect将大的数据集放入kafka,比如它可以低延迟的将数据库或者应用服务器中的metrics数据放入kafka topic导出job将kafka topic数据到另外的存储系统或查询系统或者离线系统进行批量处理kafka connect包括以下特点