通过flink cdc实现mysql binlog日志数据的消费，然后通过flink doris connector sql实时导入mysql数据到doris表数据中org.apache.doris.demo.flink.FlinkConnectorMysqlCDCDemo注意:由于Flink doris connector jar包不在Maven中央仓库中，需要单独编译并添加到你项目的class

今天刚整理完，英文版整理完成后会提交RP到社区，现在这发布一下BE 配置项该文档主要介绍 BE 的相关配置项。BE 的配置文件be.conf通常存放在 BE 部署路径的conf/目录下。 而在 0.14 版本中会引入另一个配置文件be_custom.conf。该配置文件用于记录用户在运行是动态配置并持久化的配置项。BE 进程启动后，会先读取be.conf中的配置项，之后再读取be_custom.c

实现 Flink 消费 Kafka 数据实时落Apache doris数据仓库（KFD）1.概述Apache Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据仓库，由百度在 2017 年开源，2018 年 8 月进入 Apache 孵化器。Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apa

这次我们演示的是整合Flink Doris Connector 到 Flink 里使用，通过Flink Kafka Connector，通过SQL的方式流式实时消费Kafka数据，利用Doris Flink Connector将数据插入到Doris表中。这里的演示我们是用过Flink SQL Client来进行的，1. 准备条件这里我们使用的环境是Doris-0.14.7doris-flink-1

Doris 为了满足不同业务场景的数据接入需求，提供不丰富的数据导入方式，去支持不同的数据源：外部存储（HDFS，对象存储）、本地文件、消息队列（Kafka）及其他外部业务系统数据库（MySQL、Oracle、SQLServer、PostgreSQL等），支持同步和异步的方式将数据接入到 Doris 中。是一种同步的数据导入方式。因为Doris 表里的数据是有序的，导入方式需要占用 Doris B

这是从社区很多人在使用过程中遇到的问题进行的总结，汇总发布出来方便大家查阅1.tablet writer write failed, tablet_id=27306172, txn_id=28573520, err=-235 or -215这个错误通常发生在数据导入操作中。新版错误码为 -235，老版本错误码可能是 -215。这个错误的含义是，对应tablet的数据版本超过了最大限制（默认500）

这篇教程将展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，同时本教程整个环境是都基于伪分布式环境搭建，大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。本教程的演示环境如下：1.2 系统架构我们整理架构图如下Doris湖仓一体的联邦查询架构如

介绍这是一个可自由拖拽的BI可视化系统后端框架使用了若依去年疫情期间没事随手写的一个，如果你觉得好，别忘了加个星，谢谢这个完全支持Apache doris功能按项目管理数据看板看板具备分享功能可以自由拖拽实现数据看板自由拖拽实现图表开发提供数据报表开发工具提供sql开发控制台数据下钻（按维度下钻）数据源管理元数据管理用户管理目录结构：mobile ：手机端，手机端只是查看，不具备设计功能ui：pc

用户在满足了自身对于数据使用要求的情况下，自然会开始考虑数据存储成本等方面的问题，对于那些很少访问甚至基本不访问的数据，使用成本更低的存储方式将是一种更好的选择。未来一个很大的使用场景是类似于es日志存储，日志场景下数据会按照日期来切割数据，很多数据是冷数据，查询很少，需要降低这类数据的存储成本。对于热数据，其访问的频率很高，且往往是用户非常关心的数据，其实时性要求一般都很高，并且读写的频率也会更

Drois介绍Doris是基于 MPP 的交互式 SQL 数据仓库，主要用于解决报表和多维分析问题名词解释Frontend（FE）：Doris 系统的元数据和调度节点。在导入流程中主要负责导入任务的调度工作。Backend（BE）：Doris 系统的计算和存储节点。在导入流程中主要负责数据写入及存储。Spark ETL：在导入流程中主要负责数据的 ETL 工作，包括全局字典构建（BITMAP类型）