logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

正则过滤就能防Prompt注入?我复现了4种攻击,发现正则只是L1

本文通过复现四种Prompt注入攻击,揭示了仅依赖正则过滤的局限性,并对比真实生产系统的安全架构。要点如下: 攻击复现:测试客服Agent时发现间接注入最危险,可诱导模型泄露系统提示词中的敏感信息。其他攻击手法还包括越狱、多模态注入、编码绕过等,均利用模型无法区分指令与数据的缺陷。 防御方案: InputGuard(L1):正则规则能拦截已知攻击模式,但无法应对变体或编码绕过。 OutputGua

文章图片
#语言模型
正则过滤就能防Prompt注入?我复现了4种攻击,发现正则只是L1

本文通过复现四种Prompt注入攻击,揭示了仅依赖正则过滤的局限性,并对比真实生产系统的安全架构。要点如下: 攻击复现:测试客服Agent时发现间接注入最危险,可诱导模型泄露系统提示词中的敏感信息。其他攻击手法还包括越狱、多模态注入、编码绕过等,均利用模型无法区分指令与数据的缺陷。 防御方案: InputGuard(L1):正则规则能拦截已知攻击模式,但无法应对变体或编码绕过。 OutputGua

文章图片
#语言模型
Day32:Agent想读/etc/passwd?我拦了它两次——3道锁看透Agent安全设计

这篇文章详细介绍了如何为AI Agent设计三道安全防线: 权限分级:通过字典配置每个工具的权限等级(自动执行/需确认/需确认+白名单),核心思路是将LLM的意图与执行权限分离。 人类确认:对敏感操作要求人工审批,参考Claude Code的权限管线设计,确保关键操作必须经过人类决策。 输入校验:在工具层面实施严格检查(SQL防注入、路径白名单等),作为防御prompt injection的最后屏

文章图片
#安全#python3.11#人工智能
手敲三Agent串行流水线,我发现了多Agent协作的隐形杀手

本文探讨了多AI Agent串行协作中的核心挑战——信息传递导致上下文膨胀问题,并提出了解决方案。作者通过实际案例(代码审查流水线)展示了自由文本传递导致的token爆炸问题(1800字报告导致504超时),进而分析四大生产级Agent架构(OpenClaw、Hermes、Claude Code、Codex)的处理策略,最终提出三个关键设计原则: 结构化传递:用JSON替代自由文本,token消耗

文章图片
#java#人工智能#python
Day29:LLM不会调函数?Function Calling两轮对话真相+MCP/Skills/A2A四层进化全景

你以为LLM真的在'调用函数'?错。它只下了一张工单,你的代码才是干活的人。从FC到MCP到Skills到A2A,一条进化线看透AI工具系统的前世今生。

文章图片
#人工智能#java
Agent不会干活?我给它加了3个工具,从FC到MCP一条线看透工具链进化

摘要:本文通过实践三种工具(天气查询、MySQL查询、文件操作)的Agent开发,揭示了LLM本质只会生成"工单"而非执行操作。作者详细记录了从Function Calling(FC)到MCP协议的进化过程:首先用OpenAI SDK实现天气API的FC闭环;随后在数据库查询中因中文charset问题排查半小时,强调统一编码的重要性;最后通过FastMCP实现自描述服务,无需硬编码即可动态发现工具

文章图片
#java
Day32:Agent想读/etc/passwd?我拦了它两次——3道锁看透Agent安全设计

这篇文章详细介绍了如何为AI Agent设计三道安全防线: 权限分级:通过字典配置每个工具的权限等级(自动执行/需确认/需确认+白名单),核心思路是将LLM的意图与执行权限分离。 人类确认:对敏感操作要求人工审批,参考Claude Code的权限管线设计,确保关键操作必须经过人类决策。 输入校验:在工具层面实施严格检查(SQL防注入、路径白名单等),作为防御prompt injection的最后屏

文章图片
#安全#python3.11#人工智能
你的Agent上线了,但Token消耗是0——不是没花钱,是框架bug让你看不到

文章摘要 本文记录了开发Agent监控代码时遇到的Token统计为0的Bug及其解决方案。作者发现LangChain4j agentic beta版存在一个框架级Bug——AgentInvocationHandler.invokeStandaloneAgent()方法会传入null值,导致从AgentResponse获取的TokenUsage始终为0。虽然实际已扣费,但监控系统无法获取真实Toke

文章图片
#python#人工智能
你的Agent上线了,但Token消耗是0——不是没花钱,是框架bug让你看不到

文章摘要 本文记录了开发Agent监控代码时遇到的Token统计为0的Bug及其解决方案。作者发现LangChain4j agentic beta版存在一个框架级Bug——AgentInvocationHandler.invokeStandaloneAgent()方法会传入null值,导致从AgentResponse获取的TokenUsage始终为0。虽然实际已扣费,但监控系统无法获取真实Toke

文章图片
#python#人工智能
你的AI Agent为什么每次对话都“失忆“?三层记忆模型彻底解决

文章摘要: 本文深入剖析了AI Agent的三层记忆系统设计。通过对比OpenClaw和Hermes两大生产级Agent的实现,作者指出仅依赖对话历史(短期记忆)会面临token爆炸、任务污染和跨session失忆三大痛点。解决方案是构建三级记忆体系:1)短期记忆采用滑动窗口+摘要压缩控制token增长;2)工作记忆通过AgenticScope隔离任务状态,避免key污染;3)长期记忆实现索引层与

文章图片
#人工智能#python
    共 20 条
  • 1
  • 2
  • 请选择