一、前言京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展 Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次深度分页导出导致ES宕机、不能精确去重统计，多个字段聚合计算时性能下降明显。所以引入ClickHouse来处理这些弊端。数据写入链路是业务数据(binlog)经过处理转换成固定格式的MQ消息，Fli

在这种情况下就有了用户不断的市场需求，部署、实施这样的软件项目就可以产生一个巨大的利益链条，从许可证的售卖、系统工程师的培训、系统部署设置都可以成为一门生意。实际上也不能说微软在Windows Server上的这种做法不对，大量的开源软件商业化的进程也是依靠各种秘而不宣的功能和设置来实现效率的最大化的。一种是硬科技甚至是黑科技这是需要绝对的学识和创造力的事情。Windows Server当然是有S

最近在VMware虚拟机上使用Centos，用着用着，发现虚拟机的磁盘空间不够了。通过以下步骤成功扩展了根目录的磁盘空间1、Centos 关机，选择编辑虚拟机设置，硬盘，在实用工具那里选择“扩展”填写扩展的磁盘容量点击扩展后，VMware会提示磁盘已成功扩展。您必须从客户机操作系统内部对磁盘重新进行分区和扩展文件系统。也就是说，这里扩展的磁盘空间，在操作系统里面还不可用，还没生效，需要在操作系统里

最重要的两部步 1 ，清理vmware相关文件 2.用户从ccleaner 清理注册表。 对原创做了一点改动，跟着下面一步一步来，没有不成功的。在此也感谢原作者转自：https://blog.csdn.net/czg13548930186/article/details/77099377——问题概述：相信大家在因各种原因删除卸载vm虚拟机后，突然有一天想要重装vm在本机做一个其...

转自：https://blog.csdn.net/samhacker/article/details/23089157一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block size) ，那么HDFS会实际占用Linux file system的多大空间？答案是实际的文件大小，而非一个块的大小。下面做一个实验：1、往hdfs里面添加新文件...

1. Hbase是什么？hbase的特点是什么？Hbase一个分布式的基于列式存储的数据库，基于Hadoop的 hdfs 存储，zookeeper 进行管理。Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。Hbase 为 null 的记录不会被存储。基于的表包含 rowkey，时间戳，和列族。新写入数据时，时间戳更新， 同...

转自：https://blog.csdn.net/qq_30666517/article/details/79715045tensorflow—tf.train.slice_input_producer,tf.train.string_input_producer两种队列批量读取方式研究一.tf.train.slice_input_producer()    tf.train.slic...

Kafka如何保证数据不丢失1.生产者数据的不丢失kafka的ack机制：在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到，其中状态有0,1，-1。如果是同步模式：ack机制能够保证数据的不丢失，如果ack设置为0，风险很大，一般不建议设置为0。即使设置为1，也会随着leader宕机丢失数据。producer.type=syncreque...

1，开启zookeeper集群 startzk.sh2，开启kafka集群start-kafka.sh2，开启kafka可视化界面 kafka-manager ： start-kafka-manager.sh3,生产者操作：kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic//...

Kafka事务「原理剖析」