logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

字节、清华AIR开源DAPO——学习笔记

此外,他们还提出了「Soft Overlong Punishment」(等式 13),这是一种长度感知惩罚机制,旨在塑造截断样本的奖励。在这个区间内,响应越长,受到的惩罚就越大。使用该算法,该团队成功让 Qwen2.5-32B 模型在 AIME 2024 基准上获得了 50 分,优于同等规模的 DeepSeek-R1-Zero-Qwen-32B,同时 DAPO 版 Qwen2.5-32B 使用的训

文章图片
#学习#人工智能
论文解读——DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models

英语和中文数学推理:我们在英语和中文基准上对我们的模型进行了全面评估,涵盖了数学问题从小学到大学水平。英语基准包括 GSM8K(Cobbe 等人,2021)),MATH(Hendrycks 等人,2021)),SAT(Azerbayev 等人,2023)),OCW 课程(Lewkowycz 等人,2022a)),MMLU-STEM(Hendrycks 等人,2020)。

文章图片
#语言模型#人工智能#深度学习
多轮对话中的指代消解

GPT-4 的零样本指代消解能力,核心在于​​指令模板的结构化引导​​与​​对话状态的隐式建模​​。其 81.5 的 F1 分数和 15% 的性能提升,在工业级对话系统(如客服、代码助手)中已显著降低人工标注成本并提升交互流畅性。随着 GPT-4.1 在长上下文和工具调用方向的增强,指代消解正从“上下文感知”迈向“知识增强推理”的新阶段。

#人工智能#深度学习
DeepSeekMath-V2学习

DeepSeekMath-V2 通过 **"生成器 - 验证器 - 元验证器" 三位一体架构和"验证器先行" 训练策略 **,实现了 AI 数学推理的质的飞跃,不仅在顶级数学竞赛中达到人类金牌水平,更建立了一个能够自我验证、自我完善的推理系统,为 AI 在科学证明、复杂推理领域的应用开辟了新道路。注:本介绍基于 DeepSeekAI 于 2025 年 11 月 27 日发布的官方论文和技术文档。

#学习
大模型系列——LLAMA-O1 复刻代码解读

使用的模型基座为:qq8933/OpenLongCoT-Base-Gemma2-2B,描述如下:This model is a fine-tuned version of google/gemma-2-2b-it on the OpenLongCoT dataset.This model can read and output o1-like LongCoT which targeting wor

文章图片
#java#开发语言
大模型系列——幻觉

信息抽取模型可直接使用大模型本身来抽取,也可以使用现有的信息抽取模型需要一个信息抽取模型需要评测基准验证该评估方法的可行性,并与人类对齐https://arxiv.org/pdf/1905.13322待定⌛️效果一般,且需要依赖较为复杂且可靠的信息抽取模型。例如,大型语言模型(LLMs)可以从生成性反馈循环中显著受益,通过Milvus这样的开源向量数据库,可以高效地存储和检索编码文本数据语义的向量

文章图片
#人工智能
大模型8月进展

大型验证器系统医学领域适应备注:应该是参考kimi k2的技术。但kimi k2是用于预训练,他们这个现如今,AI医疗可谓是大模型落地趋势中的垂直领域之一。它备受AI大佬以及硅谷顶尖公司关注,是最重视的落地领域——比如在开源模型gpt-oss的评测中,医疗领域的表现排在数学、代码等热门能力之前展现;GPT-5发布会上,Altman就专门花时间体现了ChatGPT在医疗问诊场景中的实际价值。深度学习

#深度学习#人工智能
信息压缩技术

背景:如果想将一篇文章,拆分成多段,然后组成多段信息组,每个信息组包括标题+片段内容。现在要求将进行信息组进行压缩到10*10的矩阵中,每个矩阵元素有10中表达方式,有什么算法。要求每篇文章的所有信息组,其编码形式是一样的。如果借助于大模型,该怎么做。

文章图片
#人工智能#深度学习
大模型系列——幻觉

信息抽取模型可直接使用大模型本身来抽取,也可以使用现有的信息抽取模型需要一个信息抽取模型需要评测基准验证该评估方法的可行性,并与人类对齐https://arxiv.org/pdf/1905.13322待定⌛️效果一般,且需要依赖较为复杂且可靠的信息抽取模型。例如,大型语言模型(LLMs)可以从生成性反馈循环中显著受益,通过Milvus这样的开源向量数据库,可以高效地存储和检索编码文本数据语义的向量

文章图片
#人工智能
    共 23 条
  • 1
  • 2
  • 3
  • 请选择