logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Nanobot 从 Channel 消息处理看python协程的使用

asyncio.run_coroutine_threadsafe(coro, loop) 用于在主线程或其他工作线程中安全地提交协程到异步事件循环(loop)中执行的函数。它不会自动将新循环设置为当前线程的默认循环,主要用于需要手动管理循环、在不同线程中创建独立循环,或避免默认循环策略限制的场景。它将协程(coroutine)封装为任务(Task)对象,并立即调度该任务在事件循环中并在后台执行,从

#AI#人工智能
大模型中的概念: LLM Agent FunctionCall Tool MCP Skill区别和说明

首先LLM和Agent是一个大类,是另一个大类.

Nanobot 从onboard启动命令来看个人助理Agent的实现

Nanobot是一款基于Typer、Rich、Questionary等工具的轻量级AI助手CLI工具。其onboard命令用于初始化配置和工作区,支持通过参数或交互式向导设置配置文件路径、工作区目录等。配置处理采用pydantic进行数据验证,向导界面利用Questionary和prompt_toolkit实现交互式操作,支持配置LLM提供商、聊天通道等功能。该命令会根据用户选择决定是否保存配置,

#人工智能#AI
Oh My Opencode各个agent的作用以及常用的命令

Oh My OpenCode是一个多模型代理编排框架,提供两种工作模式:Ultrawork模式(快速执行)和Prometheus模式(详细规划)。框架包含三类智能体:核心智能体(如Sisyphus、Hephaestus负责执行)、计划智能体(如Prometheus负责规划)和编排智能体(如Atlas负责协调)。不同任务会分配给特定类别的专业代理执行,如visual-engineering(前端)、

文章图片
Nanobot 从 AgentLoop 启动看怎么驱动大模型运行

:发空内容,metadata 带 _stream_end、_resuming(供 UI 区分是彻底结束还是工具轮次中间暂停)。on_stream(delta):把模型增量以 OutboundMessage 发出,metadata 带 _stream_delta: True。这个是所有Agent驱动的主循环方法,也是消息传递的主入口,它从 MessageBus 拉入站消息,再异步分发到真正的处理逻辑

#人工智能#AI
Spark Datafusion Comet 向量化--ApplyColumnarRulesAndInsertTransitions规则

本文分析了Spark 4.0.0中的ApplyColumnarRulesAndInsertTransitions规则,该规则负责在行列执行模式转换处插入转换节点。核心方法insertTransitions和insertRowToColumnar通过递归遍历物理计划,在需要行列转换的位置插入RowToColumnarExec或ColumnarToRowExec节点。前者将行式数据转为列式,后者反之。

文章图片
#spark#大数据
Spark Datafusion Comet 向量化Rule--CometScanRule分析

本文分析了Apache Datafusion Comet项目中的CometScanRule向量化规则转换。该项目通过Spark插件、Protobuf、Arrow和DataFusion等技术实现Spark加速。CometScanRule主要处理扫描节点的转换,首先检查平台字节序(仅支持小端)、Comet功能开关和动态库加载状态。对于数据源V1(FileSourceScanExec),需满足Hadoo

#spark#大数据
Spark Datafusion Comet 向量化Rule--CometExecRule Shuffle分析

本文分析了Apache Datafusion Comet项目的向量化规则转换机制,重点研究了CometSparkSessionExtensions中的CometExecRule。该项目采用Spark插件化架构,结合Brotobuf序列化、Arrow数据交换和DataFusion向量化引擎,通过CometShuffleManager实现两种Shuffle模式:Columnar Shuffle(JVM

文章图片
#spark#大数据
Spark Datafusion Comet 向量化Rust Native--创建Datafusion计划

本文分析了Apache Datafusion Comet项目中Rust Native创建物理执行计划的关键流程。该项目通过Spark插件化架构,结合Protobuf、Arrow和DataFusion技术实现Spark加速。重点解析了CometExecIterator类中的createPlan方法,该方法在Executor端执行时,会序列化Spark配置和查询计划,并通过JNI调用传递给Native

#spark#rust
Spark Datafusion Comet 向量化Rust Native--执行Datafusion计划

摘要 Apache Datafusion Comet是苹果开源的Spark向量化加速项目,采用Spark插件化+Protobuf+Arrow+DataFusion架构。项目通过SparkPlugin实现驱动和执行器插件,利用Protobuf序列化表达式,Arrow实现高效数据交换,DataFusion作为Rust向量化执行引擎。本文基于2026年1月最新代码,重点分析Rust原生执行物理计划流程。

#spark#rust#大数据
    共 23 条
  • 1
  • 2
  • 3
  • 请选择