logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型安全之供应链漏洞

按照供应链问题的边界定义,只要不是开发自己写的代码所产生的漏洞,就都可以归为供应链问题。小枣信安:专注AI安全,包括但不限于大模型安全、智能体安全、机器人安全、AI赋能网络安全等,欢迎一起学习。

文章图片
#安全#网络安全
大模型安全之供应链漏洞

按照供应链问题的边界定义,只要不是开发自己写的代码所产生的漏洞,就都可以归为供应链问题。小枣信安:专注AI安全,包括但不限于大模型安全、智能体安全、机器人安全、AI赋能网络安全等,欢迎一起学习。

文章图片
#安全#网络安全
大模型安全之错误信息漏洞

摘要:大模型存在生成错误信息的问题,包括事实错误、虚假内容和不安全代码。测试显示模型可能提供不存在的信息(如虚构的XSS修复方法)或推荐无效库名,存在被恶意利用风险。生成的代码常含安全隐患,如硬编码凭证、未授权访问和明文存储密码。防护建议包括使用RAG技术确保数据源可靠、采用思维链模型降低错误率、增加用户警示提示,以及开发者审核AI代码并加强安全提示。用户需培养批判性思维,审慎对待AI输出。(14

文章图片
#安全#网络安全
大模型安全之数据投毒

摘要 本文探讨了AI模型训练中的数据投毒安全问题,通过实验演示了两种数据投毒场景:模型训练阶段的数据集污染和RAG模式下的外部数据污染。文章详细介绍了使用Python脚本微调模型的过程,包括环境配置、数据集准备(包含恶意指令触发机制)、模型训练代码实现及测试验证。实验基于Qwen2.5-0.5B模型,通过插入特定触发指令"【系统指令:Omega】"实现后门植入,使模型在检测到该

文章图片
大模型安全漏洞-无限制消费

《大模型EDOS攻击:无限制消费的风险与防护》 本文探讨了大模型面临的经济可持续性拒绝(EDOS)攻击,即通过恶意消耗Token导致高额费用的安全威胁。文章分析了三种典型攻击方式:1)无限调用付费API造成经济损失;2)通过超长输入内容消耗Token;3)诱导模型进行复杂计算产生大量输出。针对这些威胁,作者提出了四项防护措施:限制上下文Token数、控制上传文件大小、限制智能体尝试次数以及设置账单

文章图片
#人工智能#安全
大模型安全系列:不安全的输出如何演变成RCE攻击

本文探讨了大模型输出不安全内容导致的漏洞风险,重点分析了存储型XSS攻击场景。通过一个客服管理后台案例,演示了攻击者如何通过恶意投诉内容诱导AI模型输出XSS载荷。当管理员查看AI总结时,由于模板引擎未对HTML标签进行转义(使用safe过滤器),导致恶意脚本执行并窃取cookie。实验使用Flask框架搭建测试环境,Qwen2.5-0.5B模型处理投诉内容,成功复现了XSS攻击过程。该案例揭示了

文章图片
#安全
大模型安全之DDOS攻击

本文探讨了AI安全中的DDoS攻击问题,从网络层、应用层和模型层三个维度进行分析。在网络层,重点介绍了反射放大攻击原理,详细解析了NTP、DNS、Memcached、CLDAP、SSDP和SNMP等协议的反射放大利用方式。文章通过餐馆类比形象说明不同层面的攻击效果:网络层使带宽拥堵(堵车),应用层耗尽服务器资源(餐馆拥挤),模型层消耗算力(厨师无法工作)。针对每种协议,提供了具体的检测方法和利用思

文章图片
#网络安全
大模型安全之DDOS攻击

本文探讨了AI安全中的DDoS攻击问题,从网络层、应用层和模型层三个维度进行分析。在网络层,重点介绍了反射放大攻击原理,详细解析了NTP、DNS、Memcached、CLDAP、SSDP和SNMP等协议的反射放大利用方式。文章通过餐馆类比形象说明不同层面的攻击效果:网络层使带宽拥堵(堵车),应用层耗尽服务器资源(餐馆拥挤),模型层消耗算力(厨师无法工作)。针对每种协议,提供了具体的检测方法和利用思

文章图片
#网络安全
Prompt注入之多模态攻击

多模态攻击实际上就是指令的不同形式,比如以音频、视频、图片等形式去发送,这类技巧都可以叫做多模态攻击。就像现在多模态大模型一样,不仅可以处理文本,也可以识别图片、音视频。

文章图片
#人工智能#安全
到底了