2024年大模型进入了新的发展阶段，AI全领域开启了更为迅猛的量变积累。一方面，模型突破了模态的隔离，文本、语音、视觉等各种形式之间产生的丰富的结合，大大增加了模态的多样性；同时，模型参数量从百亿、千亿级膨胀到万亿级，训练数据量从TB级达到PB级，上下文令牌数量也从几千增长到百万级，计算规模空前庞大；此外，算法结构的创新也带来了MoE、模型量化、定制算子等更加复杂的计算需求。

Aquila-Med-Chat (RL)在C-Eval上以及单轮多轮对话能力的表现尤为突出（见图2-图5）。Aquila-Med是针对医疗领域的复杂性场景的解决方案，基于Aquila的大规模双语医疗语言模型，在持续预训练阶段，Aquila-Med使用了高质量行业数据集中的医疗数据，实验结果表明：持续预训练阶段，Aquila-Med在多个基准测试上表现良好，特别是在MMLU上的表现显著提升（见图1）

说明：仅限医疗、教育、文学、金融、旅游、法律、体育、汽车、新闻、农业10类行业，同一机构提报行业类型不超过2个，需要介绍自身在行业大模型的技术与应用情况、对行业数据集的具体需求以及拟基于智源研究院行业数据集开展的模型训练设想。智源研究院将在6月底面向社会开放“行业数据集-场景应用创新计划”第一期非开源、高质量的行业数据集及示范模型案例参考，覆盖医疗、教育、文学、金融、旅游、法律、体育、汽车、新闻、

为验证行业数据集应用效果，智源选取医疗行业数据集进行示范模型训练。IndustryCorpus 1.0的发布，大幅提升了全球开源行业数据集的数据量和丰富度，改善开源行业数据集匮乏的现状，显著增加公共领域高质量行业数据的可获取性，为企业、开发者、科研人员提供了具备行业特性、内容丰富、安全的训练资源，减少开发成本，提高开发效率，助力大模型快速向行业应用阶段发展。数据平台实现数据的汇聚管理、处理加工，并

指令微调是引导语言模型落地、构建高性能对话模型的关键一步。针对目前开源的指令数据集质量低、覆盖领域少、数据信息不透明等问题，智源研究院推出了千万级指令微调数据集Infinity Instruct。该数据集今年6月发布，近日完成了新一轮迭代，包括Infinity-Instruct-7M基础指令数据集和Infinity-Instruct-Gen对话指令数据集。Infinity-Instruct-7M包

北京市科学技术研究院构建的北科院政务大模型，可对各类信息进行快速分析、处理与反馈，应用于智能问答、文本撰写、文章速读、知识库管理、文档智能标签、数据分析等场景。其中，预训练数据处理使用了基于“规则+模型”的多重质量提升方案，指令数据处理则使用了基于“指令复杂性+回复质量+多轮相关性”的筛选方案，以确保数据质量。面向大模型的数据工程核心旨在提升大模型数据集管理与运营效率、提升数据集质量和数量、充分挖

为了降低开发者使用大模型的门槛，智源Aquila团队在AquilaChat2 系列模型基础上整合了Int4量化技术和QLoRA微调推理技术，显著降低了34B级别大模型的训练和推理所需的资源，为用户在低资源环境中运行大参数模型提供了新的可能。此外，Aquila2-34B 系列模型已与较低配置的AI芯片进行适配，已成功在 24G 显存的国产芯片上进行推理，后续将积极推动模型与更多国产异构芯片的适配，期