logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

在 MacOS 平台上编译doris

安装Doris0.15 - 1.2 版本基于构建, 最新代码使用构建)2. 使用提速构建过程可以在页面直接下载预编译好的第三方库,省去编译第三方库的过程,参考下面的命令。代码兼容相关:1)配置 环境变量2)配置忽略警告be_proc_thread_action.cpp 中定义了一个未使用的常量变量 HEADER_JSON,但由于编译器开启了 -Werror(所有警告视为错误),所以构建失败。我们手

#macos
Flink物理分区

物理分区(Physical Partitioning)控制的是数据如何从上游算子分发到下游算子。不同的分区策略适用于不同的业务场景。作用:按自定义逻辑决定数据发送到哪个分区。参数说明- 分区器,决定数据去哪个分区- 从数据中提取用于分区的 KeyPartitioner 接口关键点:numPartitions 是什么?numPartitions = 下游算子的并行度例如:上游并行度=3,下游并行度=

#flink#大数据
Flink DataStream 类型转换

在 Flink 中,数据流会经过不同的转换,变成不同类型的 Stream。理解这些类型之间的转换关系,是写好 Flink 程序的基础。核心流程Source → DataStream → KeyedStream → WindowedStream → 聚合结果 → Sink。

#java#前端#服务器
Flink Metrics 指标监控详解

Flink 提供了完善的 Metrics 系统,用于监控作业运行状态。监控吞吐量(QPS)追踪处理延迟观察反压情况自定义业务指标@Override// 添加自定义分组层级.addGroup("etl") // 第一层:etl// 第二层:ua_parser// 在分组下注册指标/*** 算子级指标封装*/// Counter// Meter// Gaugereturn m;使用。

#flink#大数据
Flink Doris Connector Sink 深度解析

Flink Doris Connector 是 Apache Doris 官方提供的 Flink 集成组件,支持通过 Flink 实时写入数据到 Doris。流批一体:同时支持流式写入和批量导入Exactly-Once 语义:通过两阶段提交(2PC)保证数据精确一次高性能:多种写入模式适配不同场景易用性:支持 Flink SQL 和 DataStream API项目地址Flink Doris Co

#flink#大数据
Flink 反压机制深度解析:原理、排查与调优

在 Flink 流处理作业中,反压(Backpressure)是一个非常重要的概念。当下游算子处理速度跟不上上游算子的数据发送速度时,就会产生反压。如果不能正确处理反压问题,轻则导致作业延迟增加,重则导致 OOM 或作业失败。本文将从反压的底层原理出发,详细介绍 Flink 的反压机制演进、监控排查方法以及调优策略。反压是流式计算系统中的一种自我保护机制。当数据流中某个节点处理速度低于上游发送速度

#网络#服务器#运维
Flink 实时 ETL 全链路优化实战:从 Spark Streaming 到 Flink 的升级之路

/ 缓存命中率});优化项效果两级缓存 + 负缓存减少 80%+ KVRocks 访问批量查询网络往返 N → 1批量去重减少 70%+ 重复 ID 查询算子合并减少 40% 序列化开销FastJSON2 + byte[] 直接解析性能提升 30%+对象复用IP 库内存映射内存占用降低 90%正则优化 + 字符级操作CPU 降低 40%部分列更新解决 NULL 覆盖问题雪花 ID + KVRock

#flink#etl#spark
Flink Doris Connector Sink 深度解析

Flink Doris Connector 是 Apache Doris 官方提供的 Flink 集成组件,支持通过 Flink 实时写入数据到 Doris。流批一体:同时支持流式写入和批量导入Exactly-Once 语义:通过两阶段提交(2PC)保证数据精确一次高性能:多种写入模式适配不同场景易用性:支持 Flink SQL 和 DataStream API项目地址Flink Doris Co

#flink#大数据
AI AGENT入门

LLM 是 Large Language Model 的缩写,指经过大规模文本训练的 AI 模型,如 Claude、GPT、文心一言等。MCP 是 Model Context Protocol 的缩写,Anthropic 推出的协议,用于让 AI 模型安全地连接外部工具、数据库和 API。LangChain 是用于构建 LLM 应用的 Python 框架,把 LLM 和各种工具"串"起来。工具层让

#人工智能#机器学习
    共 12 条
  • 1
  • 2
  • 请选择