1 ClickHouse特性  OLAP数据库一般有2个要求：①容量要比关系型数据库大，②在线查询的速度要快。ClickHouse这两点都满足并且还支持标准的sql，支持比较复杂的语句，支持分布式。ClickHouse的几个显著特点如下：  （1）列式存储  列式存储的优点：①列式存储不同于行式存储，以行为单位进行存储，行式存储更变故搜索查询。列式存储以列为单位进行存储，这样更适合做聚合计算，如求

1 概述  在对ClickHouse进行分布表+复制表+zookeeper保证高可用的情况下进行性能测试时遇到如下坑，进行整理2 分布表join问题Unknown identifier: LO_CUSTKEY, context:…1.1 问题描述  SQL如下：SELECT count(1)FROM performance.line_all AS cLEFT JOIN performance.cu

1 概述  DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。官网地址：http://hadoop.apache.org/docs/r2.7.0/hadoop-distcp/DistCp.html2 适合的场景及其有点  适合场

1、什么是RDDRDD（分布式弹性数据集）是对分布式计算的抽象，代表要处理的数据，一个数据集,RDD是只读分区的集合。数据被分片，分成若干个数据分片，存储到不同的节点中，可以被并行的操作，所以叫分布式数据集。计算时优先考虑放于内存中，如果放不下把一部分放在磁盘上保存。RDD（分布式弹性数据集）是整个Spark抽象的基石，是基于工作集的应用抽象。Spark的各个子框架，Spark SQL、S...

1 安装1.1 Tar包安装  （1）获取tar包wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.0_linux_amd64.tar.gz  （2）解压tar包  tar xvfz influxdb-1.8.0_linux_amd64.tar.gz$ su - tigk$ tar xvfz /opt/package/inf

1 confluent介绍Confluent是用来管理和组织不同数据源的流媒体平台，可以实时地把不同源和位置的数据集成到一个中心的事件流平台。并且很可靠、性能很高。Confluent目前提供了社区版（免费）和商业版（）收费两个版本，社区版提供了Connectors、REST Proxy、KSQL、Schema-Registry等基础服务。商业版为企业提供了控制面板、负载均衡，跨中心数据备份、安全防

1 连接Elasticsearch测试1.1 启动confluent/home/kafka/.local/confluent/bin/confluent startThis CLI is intended for development only, not for productionhttps://docs.confluent.io/current/cli/index.htmlUsing CON

​Integration系统表引擎主要用于将外部数据导入到ClickHouse中，或者在ClickHouse中直接操作外部数据源。1 Kafka1.1 Kafka引擎​将Kafka Topic中的数据直接导入到ClickHouse。​语法如下：CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster](name1 [type1

目录Tensorflow线程队列与IO操作1 线程和队列1.1 前言1.2队列1.3队列管理器1.4线程协调器2 文件读取2.1 流程2.2 文件读取API：3图像读取3.1 图像读取基本知识3.2图像基本操作3.3 图像读取API3.4图片批处理流程3.5 读取图片案...

Tensorflow基础1 深度学习深度学习，如深度神经网络、卷积神经网络和递归神经网络已被应用 计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域 并获取了极好的效果。机器学习与深度学习的简单区别：机器学习深度学习应用场景指纹识别、特征物体检测等...