logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【学习笔记】大模型核心原理深度解析,注意力、FFN、知识回路与微调本质

本文深入解析了大语言模型的核心工作原理,重点阐述了Transformer架构中注意力机制和前馈神经网络(FFN)的分工协作机制。注意力机制负责逻辑关系梳理和特征搬运,而FFN作为知识存储的核心载体,通过分布式权重参数存储事实知识和专业概念。

文章图片
#学习
【学习笔记】探讨大模型应用安全建设系列8——成果汇报与持续运营

本文探讨大模型安全建设的成效验证与持续运营机制。文章提出安全度量框架,从防护效果、运营效率和风险变化三个维度量化安全成效,建议采用五页结构向管理层汇报,突出风险控制点与投入产出比。同时强调安全运营应形成闭环流程,包括发现问题、修复验证和持续监控等环节,并建议通过四步成熟度路径逐步提升运营能力。文章还特别指出Agent安全审计需要关注执行轨迹的异常检测。最后回顾了系列文章的完整建设路线,建议安全负责

文章图片
#学习
【学习笔记】探讨大模型应用安全建设系列7——安全评测与红队测试

本文探讨了验证AI安全防护有效性的两种互补方法:安全评测和红队测试。安全评测通过结构化测试验证已知风险的防护效果,红队测试则通过对抗性攻击发现未知漏洞。文章详细介绍了安全评测体系的构建方法(包括基线样例集、评分指标和发布门禁)以及红队测试的系统化流程(攻击面建模、策略设计、工具链和结果记录)。强调必须采用自适应攻击测试而非固定模板,并提出了工程化五要素。最后指出,通过"红队发现问题闭环率

文章图片
#学习#安全
【学习笔记】探讨大模型应用安全建设系列6——合规备案:大模型备案与监管合规实操

前面的系列的文章讲了怎么评估、怎么防护、怎么管权限、怎么保供应链。本篇讲一个绕不开的话题:在中国做大模型应用,要过哪些合规关? 文章把合规路径梳理成了可操作的清单。

文章图片
#学习#安全
【学习笔记】大模型备案到底要交什么材料

大模型备案材料全解析:从算法说明到安全管理 摘要:大模型备案需准备五类核心材料:1)算法机制说明(模型架构、技术路线);2)训练数据安全报告(语料来源、标注规范);3)模型安全评估报告(内容安全、拒答能力测试);4)安全措施说明(内容过滤、应急机制);5)企业资质与制度(安全管理体系)。备案周期通常3-6个月,需参照《生成式人工智能服务管理暂行办法》等最新法规。特别提醒:调用已备案API只需登记备

文章图片
#学习
【学习笔记】探讨大模型应用安全建设系列5——供应链安全与数据防护

这篇文章讲两件事:供应链投毒怎么防,数据防护怎么做?

文章图片
#学习
【学习笔记】探讨大模型应用安全建设系列4——Agent 权限治理与工具调用安全

Agent 是大模型安全里风险跳变最大的一步——从"说错话"变成"做错事"。当模型只负责回答问题,错误停留在文本层;当模型可以调工具、执行动作,错误就变成了系统行为。上一篇文章讲了护栏怎么防输入输出的语义风险。但当一个 Agent 可以查数据库、发邮件、改配置、提交工单——语义安全就不够了,。

#学习#安全
【学习笔记】探讨大模型应用安全建设系列3——护栏选型与输入输出防护

 护栏选型表面上是技术比选,实质上是一笔安全投资——花的每一分钱、引入的每一个组件,都要能在出了事时说清楚"为什么选它、它防住了什么、没防住的部分我有预案"。 上一篇完成了安全摸底,这篇进入第一个防护动作:选护栏、配防护。

文章图片
#学习
【学习笔记】探讨大模型应用安全建设系列2——安全评估:攻击面梳理与差距分析

摘要:本文系统阐述了大模型安全建设的评估方法论,提出从资产盘点、场景分级、攻击面分析三方面开展安全摸底。核心内容包括:1)将AI应用分为五类场景实施差异化管控;2)构建输入层、工具层等五维度攻击面模型;3)提供A/B/C三级自查清单,覆盖提示注入防护等关键风险;4)建议采用风险矩阵+差距报告+评测基线三件套输出评估结果。文章强调安全评估应超越固定模板测试,需结合自适应攻击验证,并给出对标国标的具体

文章图片
#学习#安全
【学习笔记】探讨大模型应用安全建设系列1——顶层规划:如何推动公司级大模型安全建设

客服机器人、知识库问答、代码助手、Agent 自动化——不管哪个场景,大模型正在从"试试看"变成"真的在用"。但大多数团队的安全建设还没有跟上。模型上线了,护栏没装;Agent 能调工具了,权限没控;数据进上下文了,分级没做。不是安全团队不重视,而是大模型安全跟传统安全确实不一样——攻击面变了,合规要求变了,甚至连"该谁来管"都还没理清楚。

文章图片
#学习#AI#安全
    共 73 条
  • 1
  • 2
  • 3
  • 8
  • 请选择