logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 --- (5)--- 异步处理

因此,在第 2 个批次及以后,所优化的轨迹都不是那个 model 自己生成的,而是上一个 step 的 model 生成的,这就引入了 off-policy。这四个组件以零协调开销异步运行:模型服务用户请求的同时,PRM正在评判上一轮交互,训练器同步更新策略------ 三者互不等待。每批训练数据100%来自当前policy → 完全on-policy,即生成数据时的 policy = 更新时的

【OpenClaw】通过 Nanobot 源码学习架构---(6)Skills

Skill:教AI“怎么做”,是给AI的操作手册(告诉模型一步一步 How to do),包括流程、标准、策略,脚本,代码,Skills 不是 “训练进模型”,而是写进 System Prompt,构建上下文时自动读进去,LLM 靠阅读理解就会用。简单来说,Skill 就是一个教 AI 怎么干活的 "技能手册。的核心组件,核心职责是加载、管理、校验智能体的技能文件(以 SKILL.md 为载体),

#学习#架构
C# 视频录制监控系统

本文是笔者以中间件-服务端的设计理念,开发的一套视频按需定制录制系统,支持跨域,自定义水印,授权使用等功能,通过API方式请求中间件,进而触发相机视频录制的流程,支持单相机和多相机视频录制,支持多相机视频合成等功能(其他功能可按客户需求扩展,相机只需要支持RTSP协议即可)。显示日志:实时显示外界API请求以及中间件处理相机视频录制,分割,任务打点记录,合成处理,上传,失败重传机制等一系列功能。阅

#c##音视频
Python 开发技术栈梳理:从数据库、爬虫到 Django 与机器学习

在整理学习资料时,发现很多同学对"全栈开发"这个概念理解得比较模糊。到底需要掌握哪些技术?各模块之间是什么关系?今天结合一套比较完整的课程大纲,系统拆解一下 Python 全栈开发的技术栈。资源下载地址。

#python#数据库#爬虫
【C++】实现一个定时器

实现一个周期性调用类。通过TaskTimer构造函数设置周期,通过setTimerFun传入要调用函数和参数,start启动,stop停止。比如要每30秒发送一个心跳包可以把发送包的函数传入定时器,定时器会创建一个线程周期性发送这个包。

#c++#开发语言
【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 --- (5)--- 异步处理

因此,在第 2 个批次及以后,所优化的轨迹都不是那个 model 自己生成的,而是上一个 step 的 model 生成的,这就引入了 off-policy。这四个组件以零协调开销异步运行:模型服务用户请求的同时,PRM正在评判上一轮交互,训练器同步更新策略------ 三者互不等待。每批训练数据100%来自当前policy → 完全on-policy,即生成数据时的 policy = 更新时的

【Agentic RL / 强化学习 / OPD】OpenClaw-RL 源码阅读笔记 --- (5)--- 异步处理

因此,在第 2 个批次及以后,所优化的轨迹都不是那个 model 自己生成的,而是上一个 step 的 model 生成的,这就引入了 off-policy。这四个组件以零协调开销异步运行:模型服务用户请求的同时,PRM正在评判上一轮交互,训练器同步更新策略------ 三者互不等待。每批训练数据100%来自当前policy → 完全on-policy,即生成数据时的 policy = 更新时的

【OpenClaw】通过 Nanobot 源码学习架构---(6)Skills

Skill:教AI“怎么做”,是给AI的操作手册(告诉模型一步一步 How to do),包括流程、标准、策略,脚本,代码,Skills 不是 “训练进模型”,而是写进 System Prompt,构建上下文时自动读进去,LLM 靠阅读理解就会用。简单来说,Skill 就是一个教 AI 怎么干活的 "技能手册。的核心组件,核心职责是加载、管理、校验智能体的技能文件(以 SKILL.md 为载体),

#学习#架构
【OpenClaw】通过 Nanobot 源码学习架构---(6)Skills

Skill:教AI“怎么做”,是给AI的操作手册(告诉模型一步一步 How to do),包括流程、标准、策略,脚本,代码,Skills 不是 “训练进模型”,而是写进 System Prompt,构建上下文时自动读进去,LLM 靠阅读理解就会用。简单来说,Skill 就是一个教 AI 怎么干活的 "技能手册。的核心组件,核心职责是加载、管理、校验智能体的技能文件(以 SKILL.md 为载体),

#学习#架构
数字孪生体技术概述 - 14.5.1 数字孪生体的定义

基本属性:数字孪生体是现有或将有的物理实体对象的数字模型。运行机制感知与调控:通过实测、仿真和数据分析来实时感知、诊断、预测物理实体对象的状态;通过优化和指令来调控物理实体对象的行为。自我进化:通过相关数字模型间的相互学习来进化自身。价值目标:改进利益相关方在物理实体对象生命周期内的决策。三项关键技术建模仿真基于数据融合的数字线程三项关键技术建模仿真基于数据融合的数字线程平台(基础设施):地位相当

#人工智能#机器学习#算法
    共 11 条
  • 1
  • 2
  • 请选择