logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从 Codex Goal 理解 Loop Engineering

Codex Goal 系统通过将Agent循环从简单的自然语言循环转变为具有明确状态边界和证据边界的工程化结构,实现了对长期任务的有效管理。该系统将对话线程(Thread)作为基本单元,其中包含持久化的目标状态(thread_goals)、运行时会话对象和执行回合(Turns)。Goal上下文分为持久状态和模型可见的隐藏上下文两层,通过特定时机注入内部模型上下文片段来引导模型行为。Codex Go

#人工智能#语言模型#AIGC
Flink Agent 与 Checkpoint:主循环闭环与 Mailbox 事件驱动模型

本文解析了Flink Agent中ActionExecutionOperator的核心处理机制,重点解决流式引擎中长耗时推理任务的并发与容错问题。文章通过演进式推导展示了从朴素循环实现到Mailbox事件驱动模型的优化过程: 初始方案采用简单循环处理事件和动作,但会导致线程阻塞,影响并发和Checkpoint; 引入Mailbox模型,通过任务分片和异步执行解决阻塞问题,允许主线程处理其他任务;

#flink#大数据#人工智能 +3
Flink Agents:Memory 层级分析 (Sensory, Short-Term, Long-Term)

Flink Agents 采用三层记忆架构优化智能代理性能: 感知记忆:临时存储单次事件处理数据,处理完成后自动清空,确保跨事件隔离 短期记忆:通过树状扁平化技术将嵌套JSON映射到Flink的MapState,结合延迟刷盘缓存提升I/O效率 长期记忆:使用向量数据库存储海量历史数据,通过自动命名隔离防止数据泄露,并实现异步压缩机制防止信息过载。该分层设计在吞吐量、持久化和上下文容量间取得平衡,支

#flink#大数据#人工智能 +2
Flink Agents:外部副作用一致性 (ActionStateStore) 演进分析

本文分析了 Flink Agents 框架为解决外部副作用重复执行问题而设计的 ActionStateStore 机制。该机制通过以下方式实现 Exactly-once 语义: 复合键设计:使用 key + sequenceNumber + event + action 四维主键精确标识每个动作执行上下文。 两级状态管理:粗粒度拦截:在 ActionTask 完成后记录整个动作状态细粒度拦截:通过

#flink#大数据#人工智能 +2
Flink Agents:Watermark 与事件时间 (Event Time) 在 Agent 算子中的演进分析

本文分析了 Flink Agents 框架中 Watermark 对齐机制的创新设计。针对 Agent 算子"非阻塞异步和 任务裂变 特性导致的 Watermark 转发难题,提出了 SegmentedQueue 解决方案。该设计通过分段队列将不同时间段的输入隔离,并采用基于 Key 的精确计数机制,确保 Watermark 仅在相关数据处理完成后才转发。详细阐述了该方案的实现原理、数据

#flink#大数据#人工智能 +2
Flink Agents:Python 执行链路与跨语言 Actor (PyFlink Agent)

Flink Agents 框架实现了 Java 与 Python 的深度集成,使 Python 编写的 AI Agent 逻辑能够在 Flink Java 引擎上执行。AgentPlan 作为蓝图仅保存 Python 函数引用而非实现 JSON 序列化保留模块和函数名信息 运行时通过解释器动态调用 Python 代码 ;基于 Flink 的 PythonEnvironmentManager 支持独

#flink#人工智能#大数据 +3
Flink Checkpoint 流程、Barrier 流动与 RocksDB 排障

本文深入解析了 Flink Checkpoint 的核心流程与实现细节。主要内容包括: Checkpoint 内容组成:JM 保存全局元数据和控制面状态,Task 按 operator subtask 粒度保存 state/timer/raw state/channel state,TM 负责执行和物化。 完整 Checkpoint 流程: JM 创建 PendingCheckpoint 并启动超

#flink#大数据#java
一篇文章讲透 Flink State

Flink State 核心机制解析 Flink State 本质上是流处理中"将过去带入未来"的机制,包含三个关键层面: 状态记忆:为算子提供跨记录的记忆能力 故障恢复:通过Checkpoint实现状态持久化 状态迁移:支持扩缩容时的状态重分配 状态设计需考虑三个核心问题: 状态作用域(key/operator/broadcast) 状态重分配机制 故障恢复策略 实现上分为三

#flink#python#数据库 +1
Flink Watermark 设计分析

本文系统分析了 Flink Watermark 机制的演进过程与核心设计思想。首先阐述了 Watermark 作为事件时间进度衡量机制的必要性,然后详细介绍了五个关键演进阶段:1) 时间戳提取与水位线生成的解耦设计;2) 多输入场景下的最小值对齐机制;3) 空闲分区处理策略;4) 快慢分区对齐的水位线对齐机制;5) 迟到数据处理方案。文章深入源码层面剖析了各机制实现细节,特别强调了正确性、活性与系

#flink#大数据#java
Java Stream接口源码深度解析

Java 8引入的Stream接口是流式处理的核心抽象,其设计特点包括: 分层结构:继承自BaseStream接口,通过递归泛型(S extends BaseStream)确保链式调用的类型安全; 操作分类:包含惰性求值的中间操作(如filter/map)和触发计算的终端操作(如collect/forEach); 执行模式:支持顺序/并行切换(parallel()/sequential()); 实

#java#开发语言#算法 +1
    共 109 条
  • 1
  • 2
  • 3
  • 11
  • 请选择