logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从损失值1.4到0.001:一个迷你Transformer训练过程揭示的安全机制底层逻辑

本文从一段极简Transformer训练代码出发,沿词嵌入、自注意力、损失优化三条数据流,还原大模型安全边界的由来。训练将损失从1.4081压低至0.0010的过程表明,语义学习在物理层面仅是向量方向的数值调整——模型完整吸收人类语言知识后,安全对齐以概率抑制剂的形式暴力叠加于完整知识库之上,知识未被删除,抑制剂可被干扰或绕过,这是安全困境无法根除的结构性根源。文章推演出输入过滤层的词表裂隙、注意

文章图片
#transformer#安全#深度学习 +1
从损失值1.4到0.001:一个迷你Transformer训练过程揭示的安全机制底层逻辑

本文从一段极简Transformer训练代码出发,沿词嵌入、自注意力、损失优化三条数据流,还原大模型安全边界的由来。训练将损失从1.4081压低至0.0010的过程表明,语义学习在物理层面仅是向量方向的数值调整——模型完整吸收人类语言知识后,安全对齐以概率抑制剂的形式暴力叠加于完整知识库之上,知识未被删除,抑制剂可被干扰或绕过,这是安全困境无法根除的结构性根源。文章推演出输入过滤层的词表裂隙、注意

文章图片
#transformer#安全#深度学习 +1
从一次词向量实验出发:关于AI能力边界的几个底层问题

本来想画一条时间线,看“程序员”和“高薪”在过去几年里是更近了还是更远了。结果发现中文互联网没有现成的、按年份切分好的开源词向量。最后跑出来的是四个平台的横向对比,数据挺有意思,但它不是我最初想回答的问题。这件事让我意识到,AI的能力边界不全是由算法决定的——从根儿上说,它被语料的质量和算力的阶级性框住了。英文AI吃的“菜”就是比中文AI好,普通人在技术垄断下能做的最多叫“蒸馏”。在这个前提下,A

文章图片
#人工智能#DeepSeek#nlp
从1.4081到0.0010:一次迷你Transformer训练的环境搭建与观察

装Python,装PyTorch,装Jupyter,踩一遍Windows路径限制的坑。手写Q、K、V的线性变换,搭一个极简Transformer,喂五个地名-名胜的问答对,训练一百轮。损失值从1.4081降到0.0010。不调API,不用现成模型,纯确认概念在代码里的实际表现。

文章图片
#transformer#深度学习#人工智能 +1
风车没打到,倒是学会了修舵机

代码传上去,success,但串口监视器里只有乱码,没有IP地址。按一下reset,吐一点乱码,再按,再吐一点。像风吹一下,扇叶动一下,然后就不动了。它在注册表里留了“鬼魂”——文件没了,但Windows还记得它能打开ZIP文件。相当于风车成精了,不光自己转,还往你脸上扔垃圾。相当于风车其实转对了,但你站在反方向,感觉不到风。换了Via浏览器,好了。代码写好了,上传成功,但舵机就是不动。换了块新板

文章图片
#嵌入式硬件
从“上传成功”到板子毫无反应:一次ESP32硬件故障排查实录

代码上传成功,板子却毫无反应。串口监视器里只有乱码,手机热点检测不到设备——换线、换代码、擦Flash、调波特率,所有软件层面的排查都走完了,问题依旧。这不是一篇“按步骤做就能解决”的教程,而是一次完整的硬件故障排查实录。从“上传成功”的假象到底层逻辑的追问,每一步都踩在概念模糊的地方:乱码是什么?按EN键到底触发了什么?为什么上传成功不等于代码跑通?这些问题在这次排查中全部串了起来。如果你也遇到

文章图片
#单片机#嵌入式硬件
[特殊字符] 后记:从“按步骤做”到“想明白为什么”

从“照着教程下一步下一步”到“半夜睡不着琢磨为什么”,这篇文章记录了一个嵌入式新手被PlatformIO折磨后的顿悟时刻。platformio.ini到底干嘛的?.pio/文件夹能删吗?工具链藏在哪?操作系统怎么找到这些东西的?没有高深的理论,只有一个个想通了的瞬间。如果你也曾被这些“常识”卡住,这篇文章就是写给你的。

文章图片
《从“按步骤做”到“想明白为什么”——一次点阵屏点亮背后的底层逻辑》

本文记录了一次点亮ESP32点阵屏的“失败”经历。当按教程操作却遭遇点阵屏不亮时,作者没有止步于解决问题,而是借机追问每一个现象背后的原因。通过国家政策比喻解释platformio.ini的“顶层设计”地位,用城市运行比喻拆解VS Code、插件、工具链和硬件之间的关系。文章揭示了嵌入式开发的底层逻辑:文件路径规则、报错信息读法、“三层架构”关系,以及“删库不删配置等于白删”等实操误区。

文章图片
#大数据
[特殊字符] 后记:从LED不亮到真正点亮——那些成功之后的新坑

以后任何人灯不亮,你都可以说:“先分清哪个是电源灯哪个是可编程灯,再检查引脚对不对,确认灯的类型,看库装没装,最后看看板子上有没有焊点要连——这些都是我拿第二个下午换来的血泪经验!对了,终端颜色会说话,黄色别急,红色别慌,把报错甩给AI就行。看到⚪白色,是普通信息,看看就好,不用慌。如果网络连续5分钟为0,磁盘连续5分钟为0,CPU一直0.1%一动不动,内存像死了一样没变化,进度条半小时没动,那就

文章图片
#单片机#python#嵌入式硬件 +1
到底了