LLaMA 模型集合由 Meta AI 于 2023 年 2 月推出， 包括四种尺寸(7B 、13B 、30B 和 65B)。由于 LLaMA 的 开放性和有效性， 自从 LLaMA 一经发布， 就受到了研究界和工业界的广泛关注。LLaMA 模型在开放基准的各 种方面都取得了非常出色的表现， 已成为迄今为止最流行的开放语言模型。大批研究人员通过指令调整或持续 预训练扩展了 LLaMA 模型。特别需

HippoRAG作为一种新型的LLM长期记忆框架，通过模仿人类大脑的记忆机制，展示了在多跳问答任务中的潜力。论文题目：HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models论文链接：https://arxiv.org/pdf/2405.14831PS: 欢迎大家扫码关注公众号，我们一起在AI的世

也就是说上一个梯度的通信和下一个梯度的计算间并没有依 赖，通信和计算可以并行，让两者的耗时相互重叠掩盖，减少反向的耗时，下图为通信计算并行相互重叠示例。减少总的通信消耗， 可以通过减少通信频率来实现， 通信融合是一个可 行的手段，通过将 N 个梯度的 Allreduce 通信合并成一次 Allreduce 通信，可以减少 N- 1 次通信延迟时间。通信算子调度到通信流， 计 算算子调度到计算流，

在大型语言模型中，平衡模型参数、词汇量与训练数据的规模对于实现高效能和经济性的模型扩展至关重要。论文重点研究了大型语言模型中词汇量大小对模型扩展规律的影响，发现更大规模的模型应配备更庞大的词汇量以优化性能，并通过实验验证了这一观点，指出当前许多大型语言模型所使用的词汇量实际上偏小。论文题目：Scaling Laws with Vocabulary: Larger Models Deserve La

尽管看似简单，但生成同时具有高正确性和足够多样性的合成数据集需要精心设计过程，并涉及许多技巧，使得LLMs驱动的合成数据生成成为一个非平凡的问题。论文的主要目的是提供该领域的全面概述，确定关键关注领域，并突出需要解决的空白，希望为学术界和工业界带来见解，并推动LLMs驱动的合成数据生成的进一步发展。论文题目：On LLMs-Driven Synthetic Data Generation, Cur

文章提出了一种新的时间序列预测模型TimeCNN，通过引入时间点独立的卷积核，精炼跨变量交互，以更好地捕捉多变量时间序列中复杂的动态关系，从而在多个实际数据集上实现了优于现有模型的预测性能和计算效率。论文题目： TimeCNN: Refining Cross-Variable Interaction on Time Point for Time Series Forecasting论文链接： ht

数据并行是最常见的并行形式， 因为它很简单。在数据并行训练中， 数据集被分割成几个碎片， 每个碎片被 分配到一个设备上。这相当于沿批次(Batch) 维度对训练过程进行并行化。每个设备将持有一个完整的模型副 本， 并在分配的数据集碎片上进行训练。在反向传播之后， 模型的梯度将被全部减少， 以便在不同设备上的模 型参数能够保持同步。主要分为两个操作： 输入数据切分和模型参数同步。数据并行示例。

论文提出了偏好链优化（CPO）方法，通过对大型语言模型进行微调，使其在复杂问题推理中生成更优的逻辑推理路径，同时显著降低推理复杂性。论文题目： Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs论文链接： https://arxiv.org/abs/2406.09136PS: 欢迎大家扫码关注

文章倡导将具身人工智能（E-AI）作为迈向通用人工智能（AGI）的关键步骤，并强调了E-AI相较于当前的人工智能进步，如大型语言模型（LLMs），在实现具备感知、行动、记忆和学习能力的智能体方面的必要性和理论框架。论文题目： A call for embodied AI论文链接： https://arxiv.org/abs/2402.03824PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中

文章提出了一种利用人工智能反馈强化学习（RLAIF）来优化视频大型多模态模型（VLMMs）的视频与文本对齐的方法，显著提升了模型在视频理解任务中的表现。论文题目： Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback论文链接： https://arxiv.org/abs/240