知乎：KaiH链接：https://zhuanlan.zhihu.com/p/721218072代码大模型在评测时主要用到的指标就是了，特别是在测试集上。各个模型在其发布时也都给出了指标，使用的一些开源代码评测框架感觉都比较复杂，所以准备做一个简洁的评测框架，下面我们进行全部代码流程的构建。整体框架可以分四部分，、、、模块。构建完四部分后进行组合即可完成一个简洁的代码模型评测框架。为了便于扩展更多

知乎：Xode链接：https://zhuanlan.zhihu.com/p/7210152041. 标题中的方法论2. Pre-training——数据工程2.1.1 Qwen Math Corpus v12.1.2 Qwen Math Corpus v23. Post-training - SFT3.1 CoT 数据3.2 TIR 数据4. Post-training - RL4.1 奖励模型

知乎：Xode链接：https://zhuanlan.zhihu.com/p/7211894990. 前文1. 模型架构2. Tokenizer3. 预训练3.1 数据3.2 训练4. Post-Training4.1 数据4.2 训练5. 去除数据集污染6. 评估7. 总结[!tip]这不是技术报告的翻译，全文人工撰写这只是个人的解读，如果有问题欢迎探讨笔者能力有限，全文可能难以深入到特别细节的

作者：爱吃牛油果的璐璐，北京大学 电子与通信工程硕士，推荐广告从业者编辑：青稞AI前言微调是指调整大型语言模型（LLM）的参数以适应特定任务的过程。这是通过在与任务相关的数据集上训练模型来完成的。所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。快来！NLP论文投稿、LLM交流

深度学习自然语言处理 分享整理：pp摘要：指令微调有激发或增强大型语言模型（LLMs）特定能力的潜力。然而，实现正确的数据平衡对于防止灾难性遗忘和任务之间的干扰至关重要。为了解决这些限制并增强训练灵活性，我们提出了Mixture-of-LoRAs（MoA）架构，这是一种专为LLMs进行多任务学习而设计的新颖且高效的调优方法。在本文中，我们首先使用相应的监督语料数据单独训练多个领域特定的LoRA模块

点击下面卡片，关注我呀，每天给你送来AI技术干货！知乎：潘小小职位：字节跳动AI Lab NLP算法工程师方向：多语言机器翻译深度学习自然语言处理公众号出品文本预训练系列是我的专栏《小小的...

深度学习自然语言处理 分享知乎：逃脱鱼子酱进NLP群—>加入NLP交流群本文尝试梳理一个完整的多模态LLM的训练流程。包括模型结构选择、数据预处理、模型预训练、指令微调、对齐、融合多模态以及链接外部系统等环节。一、准备阶段1 模型结构目前主要有三种模型架构，基于Transformer解码器，基于General Language Model，以及混合专家模型。这一步可以直接选择开源的的基座模型

每天给你送来NLP技术干货！作者｜都一凡方向 | 多模态学习来自 | RUC AI Box凭借着强大的泛化能力，预训练模型在CV和NLP领域的一系列任务上取得巨大成功。尤其是自以Trans...

主题全栈大模型微调框架LLaMA Factory：从预训练到RLHF的高效实现个人简介郑耀威，北京航空航天大学博士生。以第一作者在CVPR、AAAI、WWW等国际会议发表多篇论文，担任AAAI、EMNLP、Neural Computation等会议和期刊审稿人。获得华为杯、蓝桥杯全国一等奖、北航大学生年度人物、北航博士生奖学金。大模型微调框架LLaMA Factory发起人和主要开发者，GitHu

深度学习自然语言处理 分享整理：pp摘要：大语言模型的预训练数据由多个领域（如网络文本、学术论文、代码）组成，其混合比例对结果模型的能力有着至关重要的影响。现有的研究依靠启发式方法或定性策略来调整比例，而我们发现了模型性能的定量可预测性，即函数形式的混合比例，我们称之为数据混合定律。在实际运行之前，在样本混合物上拟合这些函数可以揭示模型在未见混合上的性能，从而指导选择理想的数据混合。此外，我们还提