干货满满~

咔哒”，“咔哒”。悟鸣在键盘上输入一个关键词，后面马上自动浮现出他接下来要输入的代码。他快速地扫了一眼，感觉没什么问题，按下“Tab”键，代码从灰色变成正常，代表这些代码被采纳，成为他所编写代码的一部分。这是他近段时间写代码的常见场景。自动浮现出的代码来自于 AI 的预测，而这种神奇的能力，就来自于近来越来越火的生成式 AI（AIGC），只不过他所用的智能工具，属于程序员专用，是 AIGC 在研发

在大模型出现之前，模型技术主要解决时序、日志、拓扑等结构化或半结构化数据的智能分析。但对于人类而言，更擅长的是语言沟通、文字记录、代码编写等非结构化数据处理。在大模型出现前，像。

DevOps-Model 是蚂蚁集团联合北京大学发布面向中文 DevOps 领域的大语言模型，通过收集 DevOps 领域相关的专业数据，再针对模型进行语言模型的加训和对齐训练，产出可以帮助工程师在整个开发运维生命周期提效的大模型。弥补当前大模型在 DevOps 领域的缺失，旨在做到有问题，问 DevOps-Model!当前我们已经开源了 7B 和 14B 两种规格的经过加训得 Base 模型和经

其中，dev数据集包含5个带有标签和解析的样例，用于few-shot评测；日志中包含了"Cannot open channel to <*> at election address /<*>:<*>"和"******* GOODBYE /<*>:<*> ********"这两个固定的模板片段，它们都在选项D中出现了。如下图所示，5-shot的结果要稍好于0-shot，其中DevOpsPal-14B

代码大模型相关论文，干货满满~

咔哒”，“咔哒”。悟鸣在键盘上输入一个关键词，后面马上自动浮现出他接下来要输入的代码。他快速地扫了一眼，感觉没什么问题，按下“Tab”键，代码从灰色变成正常，代表这些代码被采纳，成为他所编写代码的一部分。这是他近段时间写代码的常见场景。自动浮现出的代码来自于 AI 的预测，而这种神奇的能力，就来自于近来越来越火的生成式 AI（AIGC），只不过他所用的智能工具，属于程序员专用，是 AIGC 在研发

代码领域作为自然语言大模型的一个垂类，除去NLP通用的一些技术能力评估、模型认知评估和安全可信评估外，对编码领域自身，需针对性评估模型自身在技术能力层面的表现，如不同类型代码生成能力、上下文或计算机知识的理解能力，以及在对外服务能力层面的表现，如服务体验、稳定性、开放性等。附：编码垂类评估内容示意图如下图，针对代码生成类和理解类的2个效果截图示例（代码补全和添加注释），在这2大类下会有一些技术能力

本文整理了 2024 年 5 月发布的 90 篇代码大模型相关论文，其中包括 17 篇发表在今年 ICLR 的论文

干货满满~