logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

让 3 个 AI 一起写公众号:一篇 Hermes 多 Agent 实操

上游 Agent 给下游传一句"参考上一份草稿",下游 Agent 经常接错文件、读错段落。约定:context 字段必须是文件路径 + 字段名(如),别传自然语言摘要。结构化的好处是出错时你能 grep 到具体哪一步挂了。

文章图片
#人工智能
我用 Codex 做周报自动化,第一件事是防止它胡写

摘要 本文探讨了如何利用Loop Engineering技术自动化周报撰写流程。作者通过分析自身手动撰写周报的痛点,提出了基于5个核心组件(Automations、Skills、Plugins、Sub-agents和Memory)的系统设计方案。文章详细介绍了每个组件的具体实现方法,包括设置定时任务、定义周报模板、连接外部数据源、构建审核流程等。同时分享了实践中遇到的三个常见问题:静默失败、数据幻

文章图片
#自动化#运维
我用 Codex 做周报自动化,第一件事是防止它胡写

摘要 本文探讨了如何利用Loop Engineering技术自动化周报撰写流程。作者通过分析自身手动撰写周报的痛点,提出了基于5个核心组件(Automations、Skills、Plugins、Sub-agents和Memory)的系统设计方案。文章详细介绍了每个组件的具体实现方法,包括设置定时任务、定义周报模板、连接外部数据源、构建审核流程等。同时分享了实践中遇到的三个常见问题:静默失败、数据幻

文章图片
#自动化#运维
Flink源码阅读:JobManager的HA机制

Flink 通过高可用机制解决 JobManager 单点问题,支持 ZooKeeper 和 Kubernetes 两种 HA 模式。核心组件包括 Leader 选举、服务发现和信息存储服务。基于 ZooKeeper 的实现通过 LeaderLatch 机制选举 Leader,最小 ID 节点当选,并利用 TreeCache 监听节点变更。选举成功后新 Leader 会获取旧 Leader 存储在

文章图片
#flink#大数据
让 3 个 AI 一起写公众号:一篇 Hermes 多 Agent 实操

上游 Agent 给下游传一句"参考上一份草稿",下游 Agent 经常接错文件、读错段落。约定:context 字段必须是文件路径 + 字段名(如),别传自然语言摘要。结构化的好处是出错时你能 grep 到具体哪一步挂了。

文章图片
#人工智能
从零学习Kafka:调优

最后我们来总结一下本文的内容,我们首先明确了 Kafka 调优的目标,即在高吞吐、低延迟、高可靠三点中找到平衡。接着对调优方法进行了分层,从上到下分别是应用程序层、框架层、JVM 层和操作系统层,通常越靠上调优效果越好。这四层中我们重点介绍了框架层的调优方法。

文章图片
#学习#kafka#分布式
从零学习Kafka:配置参数

本文详细介绍了Kafka各组件的重要配置参数。Broker端包括数据存储目录、监听配置、集群稳定性等关键参数;Topic级别参数可覆盖Broker配置,实现灵活管理;Producer端着重于消息发送可靠性、批处理和压缩等配置;Consumer端则关注消费组、位移管理和拉取控制等参数。这些参数对Kafka的性能调优、稳定运行和数据可靠性至关重要,合理配置可显著提升生产环境表现。文章还提醒要注意不同版

文章图片
#学习#kafka#分布式
Flink源码阅读:Task数据交互

本文梳理了Flink中Task数据交互的源码实现。数据输出方面,介绍了RecordWriterOutput、RecordWriter等核心组件,详细分析了从StreamMap到BufferWritingResultPartition的数据写入流程,包括内存申请机制。数据输入方面,讲解了InputGate和InputChannel的概念,以及从StreamTask到StreamOneInputPro

文章图片
#flink#大数据
Flink源码阅读:Mailbox线程模型

Flink 通过 Mailbox 线程模型取代传统的 checkpointLock 机制,采用单线程加阻塞队列方式处理事件,确保线程安全。Mailbox 将事件封装为 Mail 对象存入队列,由单线程顺序执行,解决了锁竞争和代码可读性问题。核心组件包括 TaskMailbox(存储 Mail 队列)、MailboxProcessor(处理循环)和 MailboxExecutor(提交事件)。该模型

文章图片
#flink#大数据
从零学习Kafka:集群架构和基本概念

本文介绍了Apache Kafka的基本概念和核心功能。Kafka是一个分布式事件流平台,支持发布/订阅和点对点两种消息模型,主要用于流量缓冲和数据同步。文章详细解释了Kafka的核心概念,包括Topic、Producer、Consumer、Consumer Group、Partition、Replica、Broker等组件及其交互关系。Kafka通过分区和副本机制实现高可用性和横向扩展,利用日志

文章图片
#学习#kafka#架构
    共 17 条
  • 1
  • 2
  • 请选择