logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Win11笔记本搭建vscode+texlive环境

学术任务,在现在的新笔记本上应急搭建一个vscode+texlive环境记录一下心得。

文章图片
#vscode#ide#编辑器
【大模型后训练】Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Lan

本文提出CDD与TED,分别用于检测和缓解大语言模型(LLMs)的数据污染问题。通过分析模型输出分布的尖峰性,CDD仅需采样文本即可有效识别显式与隐式污染,在多个基准上性能优于现有方法;TED则通过校正输出分布,显著降低污染导致的性能虚高,最高可缓解66.9%的偏差。研究揭示ChatGPT在HumanEval上可能受污染影响,并构建DETCON与COMIEVAL基准推动可信评估。

文章图片
#人工智能#自然语言处理#语言模型
【大模型后训练SFT】The False Promise of Imitating Proprietary LLMs

本文批判性评估了模仿专有大模型(如ChatGPT)以提升开源模型性能的可行性。实验表明,尽管模仿模型在人类评分中表现良好,因其能模仿ChatGPT的风格与语气,但在事实性与复杂任务上仍显著落后。自动评估显示,其性能提升仅限于训练数据覆盖的任务,无法弥合基础模型能力差距。研究指出,当前方法依赖海量、高质量模仿数据,成本高昂且效果有限。结论认为,开源社区应优先发展更强的基础模型,而非依赖模仿捷径。

文章图片
#人工智能#自然语言处理#语言模型
【大模型后训练SFT】How Far Can Camels Go Exploring the State of Instruction Tuning on Open Resources

本文系统评估了12个开放指令数据集上训练的6.7B至65B参数模型,涵盖事实知识、推理、编程、多语言等能力。研究发现,不同数据集增强特定技能,无单一数据集在所有任务最优;更大/更长预训练的基础模型表现更优。提出TÜLU系列模型,在多源数据混合微调下实现最佳平均性能,达ChatGPT的87%和GPT-4的73%。揭示基于模型的偏好评估存在偏差,强调需综合自动、人工与基准评估。开源模型、代码与评估框架

文章图片
#人工智能
【大模型强化学习后训练】强化学习后训练算力应投向何处?模型规模、搜索、学习与反馈

摘要:强化学习(RL)后训练越来越多地被用于使基础模型适应推理、规划以及反馈驱动的机器人学习流水线,但受限的后训练资源往往由单一总 FLOP 预算来概括。我们研究这一实践背后的固定预算决策问题:在相同后训练预算下,应该使用更大的策略、将更小的策略训练更久、生成更多 rollout 搜索,还是将计算用于更强的奖励反馈?我们为 GRPO 后训练引入一个 FLOP 核算框架,将计算分解为 rollout

文章图片
#学习#人工智能
【目标检测】CSPNET:A NEW BACKBONE THAT CAN ENHANCE LEARNING CAPABILITY OF CNN

神经网络在计算机视觉任务(如目标检测)中实现了最先进的方法,取得了令人瞩目的成果。然而,这种成功在很大程度上依赖于昂贵的计算资源,这使得使用廉价设备的人们难以享受到这一先进技术。在本文中,我们提出了跨阶段部分网络(CSPNet),从网络架构的角度缓解了以往工作对大量推理计算的需求。我们将这一问题归因于网络优化过程中梯度信息的重复。所提出的网络通过整合网络阶段开始和结束时的特征图,尊重了梯度的变异性

文章图片
#目标检测#cnn#人工智能 +1
【北邮鲁鹏老师计算机视觉课程笔记】09 Segmentation 分割

【北邮鲁鹏老师计算机视觉课程笔记】09 Segmentation 分割。

文章图片
#计算机视觉#人工智能
【Anaconda】conda创建、删除、查看虚拟环境,安装pytorch

首先退出现有的环境然后查看要删除的环境名称与路径接下来就可以删除环境了有两种方法。

文章图片
#conda#pytorch#人工智能
【反无人机目标检测】基于分层聚合特征的差异化注意力引导网络在智能无人机监控中的应用

本文提出DAGNet网络用于智能无人机红外监控,通过差异化注意力机制解决复杂背景下多尺度目标检测难题。该网络在深层采用通道调制可变形空间注意力(CDSA)增强大目标特征,在浅层部署空间感知通道注意力(SCA)聚焦小目标,中间层结合双维度组合注意力(DCA)。特征聚合器(FA)模块通过自下而上的上下文调制实现跨层特征融合,末端集成SCA进一步增强判别特征。实验表明,该方法显著提升了小目标检测性能,在

文章图片
#无人机#目标检测#网络
爬虫、知识图谱和开源情报分析01

爬虫、知识图谱和开源情报分析01再开一个新坑,这个也是我学习和工作中一直非常感兴趣而且投入较多时间研究的一个领域。主要是想通过这个系列完成以下目标1.梳理爬虫的实践方法2.梳理知识图谱的实践方法3.实现雷达和EW领域的实用化的知识图谱...

#自然语言处理
    共 224 条
  • 1
  • 2
  • 3
  • 23
  • 请选择