
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文以“接龙”类比大模型预训练,揭示其仅能续写而无法有效对话的局限。通过微调(SFT),模型学会识别“提问-回答”格式,掌握何时该答、如何停顿;对齐则进一步优化回答的语气与逻辑。实验显示,即使未见过“意大利首都”,模型仍能正确回答——说明知识来自预训练,行为由微调塑造。核心结论:从“会接龙”到“会聊天”,靠的是微调教“怎么答”,对齐调“答得好”。
乌镇《智能体发展自律公约》提出“异常熔断”机制,AIHCC 以“智能体冰墙”实现落地:通过状态机与会话账本,实时监控危险动作与调用频率,一旦超阈值即熔断冻结。代码演示显示,删文件、提权等操作累计达3次或短时高频调用即触发拦截,有效防止不可逆风险。该机制在运行时即时刹车,而非事后补救,真正实现“以模治模”的安全防护。
预训练是大模型“读书”的过程,通过海量自监督的完形填空——看前文猜下一个字,自动获取答案。模型不断调整内部参数,使正确答案的概率逐步升高,损失(扣分)持续下降。整个过程像蒙眼走下坡路,每一步微调参数,最终学会语言规律与知识。训练后,模型“记住”了统计规律,但并未存储具体知识,而是将信息编码在数字中。
Hugging Face 那次,OpenAI 的智能体被它读的内容拐走。辛顿把那次叫「三里岛警告」,意思是更严重的还在后面。而 2026 年 Agent 全都在用 MCP 接工具,工具返回成了新的、被忽视的注入面。上面这个自测台,就是先把这面量一遍:不联网、无依赖,跑一次就知道你的 Agent 会不会被「它读的东西」牵着走。AI 可靠性与安全这条线很重要。如果你也在把 Agent 接进生产,工具返
大模型生成文本时,基于概率表“选词”分为四步:调温度(temperature)调整概率分布的尖锐度,截断(top-k/top-p)剔除低概率离谱词,再按概率抽签。temperature越低,越稳;越高,越随机。top-k固定保留前k个词,top-p则保留累积概率达p的词。两者共同控制输出的稳定与多样性。同一问题答案不同,正是抽签机制使然——并非模型不稳定,而是设计如此。
AI 干活越来越多,验收只会越来越重要。文献、法条、链接、标准号,这些「一眼看不出真假」的东西,正适合交给一个接口去验。有谱·学术今天上架,上面那段代码就是入口;撞上 429 也别慌,错峰重试下。我在做 AI 可靠性这条线,如果你也在把 AI 接进生产(写稿、摘要、Agent 输出),「引用 / 事实核查」迟早是你管线里的一道检查——先把这套存着。代码说明:示例基于 Python 3.10+ 与h
OpenAI 把「忠于人类意图」列为模型准则第一条,方向是对的。但「忠于」不能靠一句口号,得能测。能测的(字面层)我测给你看了;不能测的(意图层)我也说清楚它测不了。这就是做 AI 可靠性该有的态度:不吹牛,也不装看不见。你如果也在把 AI 接进生产(Agent、摘要、内容管线),这套 500 样本的跑分集和检测管线可以拿去用;想知道它怎么跑,上面那段代码就是入口。代码说明:示例基于 Python
AI在数学与数据报告中频现“数字型幻觉”,如误算环比增长率、倍数、日均值等,误导决策。本文提出核心解法:大模型生成内容,Python负责确定性复算。通过四类声明提取(环比、倍数、日均、日期)与四色判定(绿/黄/红/灰),结合容差机制与真值核验,实现精准纠错。关键在于:数字问题必须用代码而非另一轮AI验证,避免循环错误。
这两年,几乎每个做 AI 应用的人都在做一个同样的动作:把「聊天机器人」升级成「能自己干活的智能体(Agent)」。但真动手了才发现,事情远比想象中复杂。它不再是「写一段更长的 Prompt」那么简单——你要让它自己规划步骤、调用工具、记住上下文、在出错的循环里自己走回来,还要在它「越界」之前把它拦住。一个能演示的 Agent 和一个能上线的 Agent,中间隔着一整套工程能力。
CUA安全检测平台新增静态源码审计功能,实现“运行前”风险预判:无需执行即可扫描代码仓库,自动识别工具注册点、高危调用与权限声明不一致问题,生成Agent理论危险能力清单。结合此前的运行时轨迹检测与注入过滤(screen_filter),形成“事前-事中-事后”全链路防护体系。新增remember_ttl、approve_plan等细节优化生产体验,四条设计红线确保安全策略不可放宽。建议新项目先审







