由安全极客、Wisemodel 社区与 InForSec 网络安全研究国际学术论坛联合主办的 “AI+Security” 系列第二期 —— 对抗！大模型自身安全的攻防博弈线上活动如期举行。

利用几种先进技术的进行漏洞（缓冲区溢出、整数溢出、格式化字符串漏洞、代码注入、路径遍历、SQL注入等）挖掘，能够更快的发现并利用漏洞，以获得分数，赢得比赛。传统的漏洞挖掘通常由安全专家进行手动分析和测试，但随着人工智能技术的发展，自动化漏洞挖掘已经成为一种有效的辅助手段。在RHG中，参赛选手通过代码插桩技术，为目标程序添加监视代码，用于跟踪程序的执行路径和记录程序的运行时状态。综合利用模糊测试、符

云起无垠创始人兼CEO沈凯文博士，以《安全智能体的前沿技术研究与实践》为题，深入剖析了安全检测技术的演进历程，以及安全智能体的核心理念和实际应用。

本研究提出了一个评估大语言模型（LLMs）文本安全性和输出稳健性的新基准——潜在越狱。这个基准通过嵌入恶意指令来考察模型在执行常规任务（如翻译）时的表现，揭示了当前模型在处理含有敏感话题的指令时面临的挑战。

本论文的贡献在于提出了一种新的基于自注意力机制的漏洞定位方法，LOVA。通过系统性跟踪和分析代码的注意力权重，LOVA能有效识别复杂代码库中的潜在漏洞。研究结果表明，LOVA显著提高漏洞定位的准确性，展示其在软件安全领域的广泛应用潜力。期待未来研究进一步优化此方法，为自动化漏洞检测开辟新途径。

利用几种先进技术的进行漏洞（缓冲区溢出、整数溢出、格式化字符串漏洞、代码注入、路径遍历、SQL注入等）挖掘，能够更快的发现并利用漏洞，以获得分数，赢得比赛。传统的漏洞挖掘通常由安全专家进行手动分析和测试，但随着人工智能技术的发展，自动化漏洞挖掘已经成为一种有效的辅助手段。在RHG中，参赛选手通过代码插桩技术，为目标程序添加监视代码，用于跟踪程序的执行路径和记录程序的运行时状态。综合利用模糊测试、符

本论文提出名为 Atlas 的创新框架，以探索和揭示先进文本到图像（T2I）生成模型的安全漏洞。随着生成式 AI 技术发展，T2I 模型因易用性和高质量图像生成能力受欢迎，但存在生成敏感或不适宜内容风险，现有安全措施主要依赖安全过滤器，有效性受到了挑战。

这篇论文探讨了大语言模型（LLM）在安全训练上的漏洞，特别是针对“jailbreak”攻击的脆弱性。作者发现，尽管进行了大量的红队测试和安全训练，如GPT-4和Anthropic的Claude v1.3等模型依然容易受到攻击。

本文探索了利用大语言模型（LLM）增强灰盒模糊测试的方法。利用LLM的预训练知识生成新的有效输入，并通过成对变异种子进一步微调模型以有效学习结构化格式和变异策略。

《人工智能网络安全现状（2024）》深度解读：机遇、挑战与应对策略