分布式标签_龙虾开发者社区

分布式

SparkSQL 演变历史分析

演变主线Catalyst 四阶段：Analysis→Logical Optimization(70+规则)→Physical Planning(CBO+AQE)→Code Generation。关键转折：DataFrame(1.3)让 Spark 有了查询优化器；Dataset(1.6)让 API 层面类型安全；AQE(3.0)让优化从编译时跃升到运行时。作者：starzy博客GitHub专注 A

大数据技术实践者
2026-08-18 08:00:00

 813

 26

#spark #大数据 #分布式
2026年RAG 5.0：从GraphRAG到Agentic RAG再到Contextual Retrieval的范式跃迁

2026年的最佳实践：- 文本块：256-512 tokens（带20% overlap）- 代码块：按函数/类切分- 表格：整表作为一个chunk- 多模态：图片独立chunk + 周围文本### 4.3 经验三：评估集要"对齐生产"评估集必须包含：- 真实用户问题（从生产日志采样）- 边缘案例（模糊问题、多意图问题）- 失败案例（之前的错误回答）：单一RAG策略无法应对所有问题，要建立"问题-

少林码僧
2026-06-24 00:09:46

 280

 5

#人工智能 #分布式 #可用性测试 +1
Agent 不再是“玩具”！AgentScope Java 2.0 GA 发布：构建企业级分布式智能体底座

AgentScope Java 2.0 的核心思路，是基于 ReActAgent 推理内核基础上，增加 Harness 工程化层。开发者既可以继续使用轻量的 ReAct 循环，也可以按需启用 Workspace、持久记忆、Session、Sandbox、Skill 和 Subagent 等能力，将同一套 Agent 逻辑落地部署到企业级分布式服务中。

阿里云云原生
2026-07-17 16:07:04

 487

 5

#java #分布式 #开发语言
长程任务 Agent 的工程化生存术 ——状态终端续跑、记忆分层、千步上下文不丢、分布式集群部署与优雅升级的深度研究

终端续跑」= 进程在任意一步被杀（OOM、部署、断电、panic），系统恢复后能从最近一次 checkpoint精确续跑，且不重复副作用（exactly-once 语义）。状态外置：所有决定下一步走向的状态不能只活在进程内存，必须落到可恢复存储。幂等步骤：崩溃前可能执行了一半的步骤，恢复后重做不能产生重复副作用。确定性回放：恢复时若需重算某段，相同输入必须产生相同分支。：每 N 轮把最旧 K 条消

 禅与计算机程序设计艺术
2026-07-20 02:29:17

 780

 16

#分布式 #人工智能
千问利用整理形态中的上升旗形买入，当股价跌破5日均线时卖出，编写一个能在JoinQuant量化交易平台上运行的交易策略，要求编写Python代码。

以下是在 JoinQuant（聚宽）量化交易平台上运行的 Python 交易策略代码，该策略基于上升旗形整理形态进行买入，并在股价跌破5日均线时卖出。过去 N 日（如 10 日）内存在一段快速上涨（例如涨幅 > 15%）log.info(f"买入 {stock}，识别到上升旗形")如需加入多因子过滤、动态仓位、止盈机制等，可进一步扩展。需要我帮你加上止盈或多股票分散持仓功能吗？#

稚辉君.MCA.P9.JAVA
2026-03-08 08:50:31

 182

 2

#python #分布式 #云原生 +2
从本地事务到分布式一致性：Python 工程师必须掌握的数据库事务、Saga、Outbox 与补偿实战

重点剖析了三种关键解决方案：Outbox模式通过将消息与业务数据同库存储，确保数据库提交后消息不会丢失；Saga模式用于编排跨服务的业务流程；补偿机制则处理无法回滚的外部操作。文章提供了Python代码示例，展示如何实现Outbox模式，包括订单创建和后台消息转发器的具体实现。

清水白石008
2026-04-05 08:11:50

 568

 14

#分布式 #python #数据库
OpenAI Agents SDK：生产级智能体开发的工程化利器

奇舞团是 360 集团最大的大前端团队，非常重视人才培养，有工程师、讲师、翻译官、业务接口人、团队 Leader 等多种发展方向供员工选择，并辅以提供相应的技术力、专业力、通用力、领导力等培训课程。是 OpenAI 推出的标准化智能体开发框架（当前版本 v0.14.2），提供完整的工程化体系：智能体循环、工具集成、沙箱安全、持久执行、跨环境部署，让开发者专注业务逻辑，快速构建从原型到生产的智能体应

 奇舞周刊
2026-04-22 18:35:25

 189

#运维 #微服务 #分布式 +2
别再熬夜翻DAG图了！Spark任务优化，其实可以交给AI Agent

在之前的文章中，我们提到了一些通过 Spark Web UI 定位任务问题的方式：

大靠山
2026-08-14 11:50:11

 231

 5

#spark #大数据 #分布式 +2
AgentScope 2.0 Harness架构深度解读：从ReAct到企业级分布式智能体的演进

本文介绍了AgentScope 2.0 Harness架构的创新设计，这是一套从ReAct到企业级分布式智能体的工程化演进方案。针对AI Agent在生产环境中的稳定性、分布式部署和多租户隔离等挑战，AgentScope 2.0通过Harness工程化层提供了四大核心能力： Workspace工作区 - 结构化的目录作为Agent运行的唯一事实来源，支持"文件即配置"的敏捷迭代和记忆自动沉淀抽象

 2301_80078096
2026-07-24 14:18:05

 706

 5

#架构 #react.js #分布式
agent面试必备36-AI Agent 进阶必刷：15 道大厂高频综合面试真题与架构通关指南

多 Agent 系统是将一个复杂的宏观任务拆解给多个各司其职、拥有不同 Prompt 和工具的子 Agent（例如：产品经理 Agent、程序员 Agent、测试工程师 Agent），让它们通过对话协同完成任务。它能有效缓解单 Agent 面临的**“注意力分散”

草帽-路飞
2026-07-13 22:12:43

 821

 14

#面试 #人工智能 #架构 +3
从 KV Cache 到分布式状态机设计，一文讲透 AI Agent 的底层运行机制

Agent Runtime 是负责管理 Agent 生命周期、状态、记忆、工具调度和资源控制的运行时系统。AI AgentLLMRuntime完整 Agent状态ContextMemoryToolSchedulerCheckpointRecoveryGovernance真正运行的是 Runtime。模型只是 Runtime 中的一个组件。AgentLLMPromptLLMRuntimeMemory

Swift社区
2026-07-05 20:01:44

 8711

 7

#分布式 #人工智能
告别手动编写JMeter脚本，一个 Skill搞定99% 脚本配置，自动生成分布式压测脚本，7大性能测试 Skill(第五篇)

JMX 脚本的本质是机械配置，线程数、HTTP 请求、Header、Cookie、CSV、断言、监听器、事务，这些配置项和上游测试计划一一对应。既然测试计划已经确定了 5000 并发、23 分钟、6 阶阶梯、5 个接口、3 个写接口要幂等、11 台 Slave、10 个分片 CSV。JMX 脚本就不该是"工程师一行一行配出来的"，而是"测试计划驱动生成的"。P05把"手工配置 JMX"工程化、自动

 Jasmine839
2026-07-01 15:04:10

 358

 8

#jmeter #分布式
Hermes 四种记忆的工程实现：从Episodic到Collective的全链路

结构化执行记录，三级索引（标签+向量+时序），分层过期清理：知识图谱存储，三元组自动抽取，动态置信度管理：Skills作为记忆载体，从经验自动生成，完整的版本演化链：三级权限模型，三阶段冲突解决，完整的版本溯源四种记忆通过Context Engine的优先级仲裁机制协同工作，确保新任务获得全方位的记忆支撑。这不是概念——这是已经落地的、有Schema定义、有算法实现、有性能指标的工程系统。下一篇#

AI智研团
2026-06-23 09:25:30

 327

 12

#人工智能 #架构 #分布式 +1
分享8个codex必装的skill，让你的AI能力起飞！

很多人刚开始用 CodeX，第一反应还是把它当成桌面版的 ChatGPT。你或许会惊喜地发现，它能够帮你修改文件、编写代码、排查报错，但这些其实只是 CodeX 最基础的能力。

小马不会过河
2026-06-21 20:52:23

 2500

 8

#人工智能 #架构 #分布式 +2
字节面试官：Agent记忆系统如何设计？工业级四层 memory infra 记忆底座架构与实战

做 AI Agent 这几年，不管是面试候选人还是线上故障复盘，我发现一个共性问题：**90% 的人对记忆系统的认知还停留在两三年前的 "短期 + 长期" 两层架构**。但真实线上环境里，纯两层架构早就不够用了。

小马不会过河
2026-06-15 20:46:04

 310

 4

#架构 #网络 #服务器 +2
如何用 Agent 自动发视频？这套 Skills 你拿去用

跟 Agent 说一声，它自己调 skills 做视频、发抖音小红书——我睡觉它都在干

 小马不会过河
2026-06-13 20:12:55

 253

 6

#架构 #分布式 #java +1
突破AI应用瓶颈｜Hermes自进化智能体实战营，从工具调用落地企业原生Agent系统

本次训练营聚焦前沿Hermes-Agent技术，打通从Vibe Coding到自进化AI Agents全链路，依托Hermes、Agent Harness、持续学习框架三大核心技术，跳出传统单次对话AI局限，从目标定义、流程搭建、落地执行、数据反馈全链条落地，打造可自主成长的AI原生企业系统，真正实现AI自主完成业务闭环、组织长效进化。当下AI发展早已迈入AI-Native自进化智能体时代，依靠H

三界之外的失控AI
2026-06-05 11:55:10

 363

 7

#人工智能 #大数据 #人工智能 +2
41 openclaw分布式会话管理：跨服务状态同步方案

单体阶段，我们习惯把用户状态放在本地内存里：登录后生成 session，后续请求直接从本机 Map 或框架上下文读取。JWT 适合承载“短期、低频变化”的身份声明，但不适合承载高频变化的会话状态，比如设备信息、登录版本、风控标记、租户切换状态等。当用户登出、权限变化、踢下线时，通过 openclaw 的事件总线或消息队列广播事件，各服务收到事件后清理本地缓存，避免继续使用旧状态。Redis 负责存

 marshmallow0206
2026-05-06 14:22:32

 699

 6

#分布式
44 openclaw分布式事务：跨服务数据一致性解决方案

如果库存扣减成功，但账户扣款失败，又会造成库存被占用却无法成交。很多团队一开始会尝试用本地事务包住远程调用，但这在技术上是错误方向：数据库事务无法覆盖 HTTP/RPC 调用，强行这么做只会拉长锁时间，增加超时和死锁风险。尤其是订单、库存、账户、积分这类业务，一旦拆成多个服务，原来单体应用里一个数据库事务能解决的问题，到了微服务架构下就会变成“跨服务数据一致性”。本文重点讲 openclaw 中比

 marshmallow0206
2026-05-09 22:30:25

 520

 10

#分布式 #AI
Evotown——开启本地化、可验证的AI智能体进化新时代

摘要： Evotown是由EXboys团队开源的一款本地化AI智能体进化验证平台，旨在解决现有进化框架依赖不稳定虚拟货币和缺乏可复现环境的问题。该平台采用前后端分离架构（Python/FastAPI后端，TypeScript/React前端），内置“丛林法则”经济系统，通过可配置的奖惩机制模拟智能体竞争。核心优势包括完全本地化运行、高度可复现性及游戏级可视化界面（基于Phaser 3）。用户可通过

 sinat_25866835
2026-05-12 19:02:54

 800

 24

#人工智能 #安全 #搜索引擎 +1
如何定义一个agent？需要使用哪些提示词？角色、任务？

摘要：人工智能中的Agent（智能体/代理）是一种能感知环境、自主决策并执行行动以实现目标的计算机系统，具备自主性、反应性、主动性和社会能力。定义Agent需结构化提示词，包括角色与身份（如“网络安全顾问”）、目标与任务（如分析代码漏洞）、能力与工具（如联网搜索）、行为约束（如回答格式与伦理规范）及上下文处理（如记忆用户偏好）。完整的提示词需明确Agent的身份、任务、能力及行为规则，确保其目标明

 sos62317
2026-03-12 06:15:00

 332

 1

#数据结构 #分布式 #python +4
OpenClaw 分布式集群搭建：云服务器与本地技能自动同步完整指南

OpenClaw分布式集群搭建指南摘要本文介绍如何搭建OpenClaw分布式集群，实现云端与本地技能自动同步，解决多设备开发中的版本不一致问题。核心步骤：环境准备：统一OpenClaw版本，放行云服务器18780端口。启动网关：在云服务器运行网关服务，生成Token用于认证。节点加入：本地设备通过Token连接云端网关，启用技能同步。云端批准：手动批准节点接入请求，确保安全性。优势：

To Be209
2026-04-06 15:28:27

 886

 13

#分布式 #服务器 #运维 +2
XXL-JOB v3.4.0 发布 | OpenClaw集成、合并调度、健壮性及体验增强

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

许雪里
2026-04-06 01:53:09

 558

 12

#java #分布式
AIOps 降本增效：基于 OpenClaw 与分布式状态共享的自愈平台方案

摘要：本文提出了一种降低AIOps硬件成本的创新架构方案。通过"大脑与四肢分离"的设计和"外部化共享内存"机制，将系统成本降低70%以上。核心是采用Redis作为"公共黑板"实现多智能体间的情报共享，避免重复推理；同时结合异构计算、向量数据库分层、模型小型化和共享内存云化等四层降维策略，使系统能在廉价设备上运行。实战中通过Redis实现智

 2301_79801717
2026-03-18 22:38:15

 332

 5

#分布式 #人工智能 #运维 +1
OpenClaw 生态适配：Hadoop/Hive 技能现状与企业级集成方案

OpenClaw Gateway 支持执行本地/远程 Shell，可直接封装hivebeelinehdfs等命令：执行 HQL 查询查看 HDFS 目录与文件获取 Yarn 任务状态检查表/分区信息适合运维人员快速做巡检、查询、统计类自动化。OpenClaw 截至 2026-03 无官方 Hadoop/Hive 技能，属于架构与安全层面的合理设计。个人用户与轻量团队一般无需此类能力；企业大数据场景

 快乐非自愿
2026-03-17 17:34:04

 636

 7

#hadoop #hive #大数据 +1
用上这个Skill，你的Claude Code/Codex 将会比别人快5倍 -- 用分布式思维驯服AI任务编排

但AI也是有"认知带宽"的，一次性塞太多东西进去，它不仅处理慢，输出质量还会严重下滑。这就好比你接了一个大项目，你不会一个人从前端写到后端再到运维，而是会拉一个团队，后端的写API，前端的写UI，运维的配环境。跑完后，找出所有"依赖已满足"的任务，再一起开跑。有一次我定义了一个任务依赖，说"T-03需要T-01的部分输出"。如果你只有一个AI实例，就用"分时复用"——逻辑上是并行的，物理上是串行的

 dotNET跨平台
2026-01-13 07:58:27

 335

#分布式 #人工智能
告别“写一次跑一次”！OpenClaw 高级玩法：自定义技能插件化与分布式任务编排实战

这是实现插件化的关键。任何功能，只要实现了这个接口，就能被引擎识别。"""上下文对象，贯穿整个任务流程""""""所有技能必须继承的基类"""@property"""技能唯一标识"""pass"""执行技能逻辑:return: True 表示成功，False 表示失败（触发重试或终止）"""pass"""错误处理钩子"""print(f"[

shanwei_spider
2026-03-12 06:01:36

 260

 3

#分布式 #python #爬虫 +3