语音识别领域的进步得益于无监督预训练技术的开发，例如 Wav2Vec 2.0。由于这些方法直接从原始音频中学习，无需人工标注，因此它们可以高效地使用大量未标注语音数据集，并且已迅速扩展到 1,000,000 小时的训练数据，远远超过学术监督数据集通常的 1,000 小时左右。在标准基准上进行微调后，这种方法已经提高了最先进的水平，尤其是在低数据设置下。这些预训练的音频编码器。

语音语言模型 (SpeechLM) 接受语音输入并产生语音输出，与基于文本的大语言模型 (LLM) 相比，其人机交互更加自然。，这些数据的可用性远低于文本预训练数据，从而限制了其作为 LLM 的可扩展性。我们提出了一种新的语音-文本预训练扩展方法，该方法利用源自文本语料库的大规模合成交错数据，从而无需并行语音文本数据集。我们的方法通过从现有文本语料库中采样文本段并使用 text-to-token

社会科学研究人类行为和社会结构，以了解社会如何运作。传统的社会学研究严重依赖人类参与进行实验和收集数据。问卷调查和心理实验通常用于检验理论假设、理解社会现象并预测集体结果。虽然这些方法可以提供高度真实的数据，但它们成本高昂、难以规模化，并且存在一定的伦理风险。近年来，大语言模型 (LLM) 在人类级别的推理和规划方面展现出令人印象深刻的能力。它们能够感知环境、做出决策并采取相应的行动，展现出其作为

大语言模型 (LLM) 正在经历快速发展，专有模型（如 GPT 和 Gemini）以及开源模型（如 LLaMA、Qwen、Mistral 和 Deepseek）以前所未有的速度发展。然而，这种快速迭代带来了一个重大挑战：用于有监督微调 (SFT) 的现有高质量数据的枯竭。此外，互联网上越来越多地充斥着质量参差不齐且通常值得怀疑的合成数据，这使得为 LLM 构建和筛选更高质量的训练数据变得越来越困难

基于人类反馈的强化学习 (RLHF) 是推动 SOTA 大语言模型质量和安全的关键因素。然而，一个出人意料地简单且强大的推理时策略是 Best-of-N 采样，它可以从 $N$ 个候选样本中选出最佳生成结果。本文提出了 Best-of-N 蒸馏 (BOND)，这是一种新的 RLHF 算法，旨在模拟 Best-of-N，但在推理时不会产生显著的计算开销。具体而言，BOND 是一种分布匹配算法，它**

模型上下文协议 (MCP) 是一个标准化接口，旨在实现人工智能模型与外部工具和资源之间的无缝交互，打破数据孤岛，促进不同系统之间的互操作性。本文全面概述了 MCP，重点介绍其核心组件、工作流程以及 MCP 服务器的生命周期，该生命周期包含三个关键阶段：创建、运行和更新。我们分析了每个阶段相关的安全和隐私风险，并提出了缓解潜在威胁的策略。本文还探讨了当前的 MCP 发展态势，包括行业领导者对其的采用

随着大语言模型 (LLM) 的应用扩展到各个领域，这些模型适应数据、任务和用户偏好的持续变化的能力变得至关重要。传统的训练方法依赖于静态数据集来训练 LLM，但越来越不足以应对现实世界信息的动态特性。终身学习（又称持续学习、增量学习），或 LLM 在其运行寿命内持续自适应学习的能力，通过整合新知识同时保留先前学习的信息来解决这一挑战，从而防止灾难性遗忘的问题。图 1 提供了终身学习的图示。本调查深

思维链（Chain-of-Thought，简称 CoT）推理为大语言模型（LLMs）应对复杂推理任务提供了一种全新的方案。通过使用少量精心设计的指令，CoT 使得 LLMs 能够生成非结构化的推理步骤，从而提升其在复杂任务中的表现。此外，OpenAI 推出的 o1 模型标志着人工智能系统在执行高级推理能力方面的重大进展。与传统模型不同，o1 擅长通过使用扩展的推理链和采用测试时扩展（即“慢思考”）

大型语言模型 (LLM) 彻底改变了人工智能中的数学推理方法，推动了定量推理基准和几何推理基准的重大进步。此外，这些模型已被证明有助于帮助人类解决复杂的数学问题。然而，GPT-4 和 Gemini-Ultra 等尖端模型尚未公开，目前可访问的开源模型在性能上远远落后。在本研究中，我们引入了 DeepSeekMath，这是一种特定领域语言模型，其数学能力显著优于开源模型，并在学术基准上接近 GPT-

我们提出 DeepSeek-OCR，作为对利用光学二维映射压缩长上下文可行性的初步探索。DeepSeek-OCR 由两个组件构成：DeepEncoder 和解码器 DeepSeek3B-MoE-A570M。具体而言，DeepEncoder 作为核心引擎，旨在高分辨率输入下保持较低的激活值，同时实现高压缩比，从而确保视觉 token 数量达到最优且易于管理。**实验表明，当文本 token 数量在视