特性Adapter Tuning (外挂装备)Prefix Tuning (催眠暗示)形象比喻加转接头植入潜意识/小抄修改位置在层与层之间插入新模块在 Attention 的 K/V 前拼接虚拟Token模型结构改变了(层数变多了)没变(只是输入变长了)推理速度变慢(多了计算步骤)不变(几乎无感)上下文长度不影响变短(Prefix 占坑位)当前地位LoRA 的前身P-Tuning 的基础方法核心操

对于1x1矩阵最直观的感受是能有什么作业，滑动的时候怎么提取特征。其实最开始就理解错了。1x1卷积不是用来取特征的，而是用来降维和升维1x1卷积核，又称为网中网（Network in Network）理解中的样子emmm， 这不就是对每个像素乘以卷积核权重嘛，比较好理解降维和升维当输入时多通道的，比如上图32通道，6x6大小。给定卷积6x6，既然做卷积操作，卷积核的通道数要与输入通道数一致，所以实

颜色特征描述方法：颜色直方图颜色集颜色矩颜色聚合向量颜色相关图纹理特征描述方法：统计方法（共生矩阵）GLCM（2，1）值为3说明有3对灰度为2和1的像素对角相邻。在共生矩阵基础上，又可以定义多种纹理特征：熵、能量、对比度、均匀度、相关性。结构法模型法频谱发形状特征轮廓特征：针对物体的外边界，常使用游程长度编码方法区域特征：统计整个区域形状，使用区域密度、区域体态比度量局部点特征角点特征点Harri

参考教程从0搭建LLM(基于LLaMA2)

MoE模型就是：把一个巨大的全能大脑，拆分成了一个由“分诊台”指挥的“专家团队”。它让AI变得更博学（总参数量大），同时又保持了反应灵敏（实际计算量小）。这就是为什么现在的顶尖大模型都在往MoE方向发展的原因！怎么样，这样解释是不是好理解多了？MoE的训练其实就是在“让专家学好”和“让大家都有活干”之间找平衡。没有预设标签：专家擅长什么，是自己“卷”出来的，不是人指定的。路由器也要学：不仅要训专家

模式全称结构 (Q : KV)显存占用效果 (智商)代表模型MHA1 : 1(很多头对很多KV)巨大 (贵)⭐⭐⭐⭐⭐MQAN : 1(很多头对1个KV)极小 (省)⭐⭐⭐StarCoderGQAN : M(分组共享)适中⭐⭐⭐⭐✨LLaMA-2/3, MistralGQA 就是在**“效果”和“速度/显存”**之间找到的最佳平衡点。现在的开源大模型如果不发 GQA，出门都不好意思跟人打招呼。

这不是完整教程，更像笔记参考 Three.js Essentials这本书，有很多地方直接复制翻译的内容Three.js 的函数有有用到异步加载，当制作复杂的3d视图有加载本地图片及其他文件时应该建立本地服务器，否则直接运行html文件时浏览器会提示加载错误：XMLHttpRequest cannot load file:///F:/phptools/Apache2.2/htdocs/t

待填参考详解离散余弦变换（DCT）

一、基本信息标题：Fully Convolutional Networks for Semantic Segmentation时间：2015出版源：CVPR论文领域：计算机视觉、CNN、FCN、语义分割引用格式：链接：二、研究背景三、创新点四、实验结果五、结论与思考作者结论总结思考参考...

一、基本信息标题：You Only Look Once: Unified, Real-Time Object Detection时间：2016引用格式：Redmon, Joseph, et al. “You only look once: Unified, real-time object detection.” Proceedings of the IEEE conference on comp