本研究提出了一个评估大语言模型（LLMs）文本安全性和输出稳健性的新基准——潜在越狱。这个基准通过嵌入恶意指令来考察模型在执行常规任务（如翻译）时的表现，揭示了当前模型在处理含有敏感话题的指令时面临的挑战。

本论文的贡献在于提出了一种新的基于自注意力机制的漏洞定位方法，LOVA。通过系统性跟踪和分析代码的注意力权重，LOVA能有效识别复杂代码库中的潜在漏洞。研究结果表明，LOVA显著提高漏洞定位的准确性，展示其在软件安全领域的广泛应用潜力。期待未来研究进一步优化此方法，为自动化漏洞检测开辟新途径。

数据猿与上海大数据联盟联合策划并启动了“2024全年度三大策划活动”，经过数月的精心筹备和严格筛选，通过直接申报交流、深入访谈调研、外部咨询评价以及匿名访谈等多维度交叉验证的方式，最终完成了《2024中国AI大模型产业图谱1.0版》并正式对外发布。云起无垠作为国内首家提出AI安全智能体的安全厂商，凭借其在大模型技术研究和产品能力方面的卓越表现，成功入选了该图谱中的AI智能体板块。

近日，“AI+Security” 系列第 4 期线下活动在北京顺利举行，主题聚焦于 “洞” 见未来：AI 驱动的漏洞挖掘新范式，吸引了众多安全领域专家参与。奇安信安全研究员尹斌先生围绕 “基于大模型的漏洞挖掘技术与实践” 展开分享。他深入介绍了大模型与静态代码分析、模糊测试以及 Agent（智能体）相融合，在漏洞挖掘中的探索和实践情况，并分享了大模型挖掘漏洞实践的具体内容，帮助与会者更好地理解和掌

本文提出了一种新的红队攻击框架和防御框架，旨在通过半自动化的方式生成攻击提示（attack prompts），以测试和提高大语言模型（LLMs）的安全性。研究通过实验证明了这些框架在提高模型防御能力和识别潜在攻击方面的有效性。

研究员表示SecGPT-Mini的推理可在一般性能的笔记本电脑上进行，无需在GPU支持的运行环境，并且该模型在执行安全任务的能力上也展现出了不凡的效果。

这篇论文探讨了大语言模型（LLM）在安全训练上的漏洞，特别是针对“jailbreak”攻击的脆弱性。作者发现，尽管进行了大量的红队测试和安全训练，如GPT-4和Anthropic的Claude v1.3等模型依然容易受到攻击。

《人工智能网络安全现状（2024）》深度解读：机遇、挑战与应对策略

本文提出了一种名为FuzzAug的新型数据增强技术，结合模糊测试和大语言模型的优势，生成语法和语义上有效的多样化测试数据。实验结果表明，使用FuzzAug增强的数据集训练的模型，测试用例准确率提高了11%，分支覆盖率也显著提升。

近日，由安全极客、Wisemodel 社区和 InForSec 网络安全研究国际学术论坛联合主办的“AI+Security”系列第 2 期——对抗！大模型自身安全的攻防博弈线上活动如期举行。