随着预训练模型的参数越来越大，尤其是175B参数大小的GPT3发布以来，让很多中小公司和个人研究员对于大模型的全量微调望而却步，近年来研究者们提出了各种各样的参数高效迁移学习方法（Parameter-efficient Transfer Learning），即固定住Pretrain Language model（PLM）的大部分参数，仅调整模型的一小部分参数来达到与全部参数的微调接近的效果（调整的

OpenAI的Text Completion类型API在2023年7月进行最后一次更新，2020-2022年的模型text-davinci-003、text-davinci-002、Davinci、Curie、Babbage、Ada等只能通过Completion接口访问，而像GPT-3.5-Turbo、GPT-4等模型的访问可以通过Chat Completion来访问。2023年是LLM（大语言模

随着扩散过程的进⾏，这滴墨⽔随着时间的推移逐步扩散到⽔中，⽔的颜⾊也逐渐变成这滴墨⽔的颜⾊，如图1-1所示。DDPM还做了⼀些假设，例如假设扩散过程是⻢尔可夫过程 （即每⼀个时间步状态的概率分布仅由上⼀个时间步状态的概率分布加上当前时间步的⾼斯噪声得到），以及假设扩散过程的逆过程是⾼斯分布等。可以看出，在训练 DDPM 时，只要用一个简单的 MSE ( Mean Squared Error ，均方

参考文献：https://blog.csdn.net/qq363685855/article/details/148512248之前分享过。本文将分享如何使用ollama来部署这些模型。

上下文缩减与上下文卸载类似，但它的做法则是对信息进行摘要或压缩。一个直观的方法是摘要工具调用的输出，Open Deep Research 项目中已经采用了该方法。另一个方法是精简 (pruning) 工具调用或工具消息。有趣的是，Claude 3.5 Sonnet 实际上已经内置了这个功能。如果你去看他们最近的发布，会发现它现在原生支持这个特性。所以，精简掉旧的工具调用和输出，已经成为 Claud

上下文缩减与上下文卸载类似，但它的做法则是对信息进行摘要或压缩。一个直观的方法是摘要工具调用的输出，Open Deep Research 项目中已经采用了该方法。另一个方法是精简 (pruning) 工具调用或工具消息。有趣的是，Claude 3.5 Sonnet 实际上已经内置了这个功能。如果你去看他们最近的发布，会发现它现在原生支持这个特性。所以，精简掉旧的工具调用和输出，已经成为 Claud

在角色扮演方面，两个模型都有明显的不足，星火有角色扮演的能力，不过刚开始的文本理解不太正确，后来角色扮演的效果还可以接收；在旅游向导方面，两个模型都给出了旅游建议，他们都有各自明显的特点：星火是“位于{}，是{}”的结构，而通义千问直接给出景点的名称，没有更多描述，在具体位置描述也不太准确。在自我认知方面，星火除了简单介绍自己，还稍微进行了一些扩展，而阿里通义千问给出了更简洁的回答；在介绍优缺点的

论文链接：https://simg.baai.ac.cn/paperfile/a34ae7f4-f0ce-4f8f-b8f2-e8e4d84bbee5.pdf目前大模型基本都采用transformer结构，而transformer中attention机制的计算复杂度与序列长度呈平方关系，因此大模型在训练时候通常会设置固定的上下文窗口，而且也不会太大，比如GPT-4支持32K上下文，但这会限制大模型

通过处理任意文档（比如PDF、网页），将其切分为块并存储到向量数据库中，然后通过检索到相关的块输入给LLM，让LLM给出用户期待的回复。GPT-4V是一个多模态模型，可以接收文本/图像，并可以输出文本响应。与我们现有的（最流行的）索引VectorStoreIndex不同，这个新索引可以存储文本和图像文档。我们将图像和文本分开存储，因为我们可能希望对文本使用纯文本嵌入模型，而不是CLIP嵌入（例如a

您可以自定义llamaindex-cli以使用任何LLM模型，甚至是像Mixtral 8x7b到Ollama这样的本地模型，并且您可以构建更高级的查询和检索技术。更多详细资料，请查看文档[1]。现在，需要将工具指向一些可以摄取到本地矢量数据库中的本地文件。你甚至可以在你的终端内打开聊天界面！只需运行llamaindex-cli-rag-chat，并开始询问有关您获取的文件的问题。