在开始之前，让我们先介绍一下RAG基础知识。RAG 主要包括两个步骤： 检索 （从数据库中查找相关信息）和生成 （使用 GPT 等 LLM 根据检索到的信息生成响应）。这有助于帮助LLM在真实数据中生成正确答案来避免“幻觉”（编造事实）。示例：您问人工智能：“气候变化政策的最新情况是什么？”，传统的 RAG 会将查询嵌入为向量，在向量数据库中搜索文档中的类似文本块，并将它们提供给 LLM 以获得响

在开始之前，让我们先介绍一下RAG基础知识。RAG 主要包括两个步骤： 检索 （从数据库中查找相关信息）和生成 （使用 GPT 等 LLM 根据检索到的信息生成响应）。这有助于帮助LLM在真实数据中生成正确答案来避免“幻觉”（编造事实）。示例：您问人工智能：“气候变化政策的最新情况是什么？”，传统的 RAG 会将查询嵌入为向量，在向量数据库中搜索文档中的类似文本块，并将它们提供给 LLM 以获得响

论文链接：https://simg.baai.ac.cn/paperfile/a34ae7f4-f0ce-4f8f-b8f2-e8e4d84bbee5.pdf目前大模型基本都采用transformer结构，而transformer中attention机制的计算复杂度与序列长度呈平方关系，因此大模型在训练时候通常会设置固定的上下文窗口，而且也不会太大，比如GPT-4支持32K上下文，但这会限制大模型

随着大模型技术的发展，AI Agent正在成为大模型游戏规则的改变者，它可以帮助用户分解任务、规划任务和执行任务，这就是CrewAI的独特之处。在本文中，将介绍什么是CrewAi，架构设计，Autogen、ChatDev和Crew Ai之间的差异，以及如何使用Crew Ai、Langchain和Ollama的Solar或Hermes Power来构建超级Ai Agent。在Autogen中，协调代

今天还是以ChatGLM-6B的query来进行测试，但由于Bard目前只支持英文，因此对ChatGLM-6B的case翻译成英文进行测试对比（限于翻译水平，可能会引起不公平的对比）

Meta开放小模型LLaMA，性能超过GPT-3

一般来说，在 RL 中希望获得最高的reward，但是在 RLHF 中，使用了一个不完美的奖励模型，PPO 算法将利用这些不完美，这可能表现为奖励的突然增加，但是当我们从策略中查看文本生成时，它们主要包含字符串 ``` 的重复，因为奖励模型发现包含代码块的stack exchange答案reward分数是最高的。StackLLaMA模型开源了，并且在Huggingface Hub上可以使用，地址：

结论：Bard和文心一言都生成了一段文案，而Baize-7B只是把关键词split出来了；在线 Demo：https://huggingface.co/spaces/project-baize/baize-lora-7B。结论：在旅游推荐方面，上述三个模型都给出了答案，但是Baize-7B的答案没有换行，缺少条例性。结论：角色扮演方面Bard表现较好，而文心一言和Baize-7B几乎没有这样的能力

在旅游向导方面，两个模型都给出了旅游建议，他们都有各自明显的特点：星火是“位于{}，是{}”的结构，而文心一言是“这是{}，然后是简单介绍”；在角色扮演方面，两个模型都有明显的不足，星火有角色扮演的能力，不过刚开始的文本理解不太正确，后来角色扮演的效果还可以接收；在写邮件方面，两个模型都表现的非常好，而且百度文心一言甚至给出更详细的提示，比如给暴雪公司的邮件中还写了“主题”，而且在发件人还预留了“

Google推出ChatGPT对标产品Bard