缓存通过存储和重用不同层（例如注意力层和前馈层）的中间输出来加速推理，而不是在每个推理步骤执行整个计算。它以更多内存为代价显着提高了生成速度，并且不需要额外的训练。主要详细介绍两种：1、DeepCache；2、FORA。对于更加多的cache策略可以看知乎推荐直接使用CacheDit来进行加速。量化技术是一种模型压缩的常见方法，将模型权重从高精度（如FP16或FP32）量化为低比特位（如INT8、

一种是支持发布成 App 的功能，比如通过一定的系统提示词、工具集选择、模型参数设置（如温度等），可以将这样的东西打包发布成一个像 App 一样的网页，或者是一个 js 入口。用户可以通过这个网页直接使用 Chats 的预定功能和 AI 大模型聊天、完成指定任务。打包成的 js 甚至可以嵌入用户（通常是企业用户）的网页中，这样一来用户就可以直接在自己的网站上使用定制化的 AI 助手了。这个方向很有

概念原理比喻词汇表征将词汇表示为多维连续向量（词向量/embedding），以便模型计算和比较。词汇像嵌入在高维空间里的点，距离反映语义相似性。独热编码（One-hot）每个词用高维稀疏向量表示，向量间互相正交。每个词孤立存在，苹果和橘子、男人和女人没有联系。词嵌入（Embedding）将词向量映射到同一向量空间进行学习和比较，低维、连续、可度量相似性。像把高维词汇空间“压缩”成一个连续空间，词语