如何将生成式AI从简单内容产出升级为能够构建完整、可靠交付物的状态化智能体创建系统？论文系统性定义"智能体工件创建"概念，综述259项相关工作，提出统一分析框架和四条设计原则。

在大规模生产任务中，如何通过将AI/ML模型（包括LLM）集成到人类标注过程中，以提高标注效率和质量？论文提出了MILO框架，通过人机协作提高标注效率和质量，还通过这些标注增强LLM的开发，从而创建一个更高效的标注生命周期。

在领域特定的持续学习任务中，如何有效地进行自动化的指令调优，特别是在数据质量和系统级约束方面的挑战。论文提出了一种自动化的持续指令调优框架，能够在不干扰服务的情况下，实现无缝的模型更新，提升数据质量，并有效应对系统部署中的约束。

当前大语言模型（LLM）在因果推理能力评估方面不足以解决现实问题。论文提出了一个名为CARL-GT的基准测试，用于全面评估LLM在因果图推理、知识发现和决策制定方面的因果推理能力。

如何在多文档问答任务中优化大语言模型（LLM）的注意力机制，以解决长距离依赖建模和“丢失在中间”现象带来的挑战？论文提出了一个无需训练的通用插件框架DSAS，通过双阶段自适应优化注意力机制来增强多文档问答性能。

如何利用多模态大语言模型（MLLM）生成多模态数据，以减少对人工标注和高成本商业模型的依赖？论文提出了一个名为Genixer的数据生成管道，能够利用现有的MLLM生成高质量的视觉指令调优数据，并贡献了两个开源数据生成模型以及两个高质量的多模态数据集。

现有多模态大语言模型（MLLMs）评估基准存在不足，如何构建一个有效的基准来评估多模态智能和任务协同能力？论文提出了一个新的评估框架General-Level和一个大规模的多模态评估基准General-Bench，以全面评估多模态通用模型的能力。

如何弥合通用视觉语言模型与真实世界具身智能体在细粒度感知及复杂推理规划能力之间的巨大鸿沟？论文提出了 HY-Embodied-0.5 系列模型，通过混合 Transformer 架构和迭代式后训练范式，在 22 个基准测试中超越同类模型，并成功部署于真实机器人控制任务。

Mamba模型在处理超过训练长度的长上下文时记忆能力和推理能力不足。论文提出了一种新方法Recall with Reasoning (RwR)，通过链式思维蒸馏直接提升Mamba的长上下文记忆能力，而无需丢弃输入的任何标记。

随着输入长度的增加，大语言模型（LLM）中的键值（KV）缓存成为部署长上下文模型的主要瓶颈。论文提出了RazorAttention算法，将KV缓存减少了70%以上，并且对性能没有明显影响。