logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大模型上下文长度扩展】LongQLoRA:单GPU(V100)环境下的语言模型优化方案

背景: LLaMA系列模型(例如LLaMA和LLaMA2)在训练时设置了预定义的上下文长度(如2048和4096个token),使用的位置编码(RoPE)在超出预定义长度时性能急剧下降。相关联想: 在多文档问答、书籍摘要、长对话摘要等任务中,长输入上下文常常是必需的,这些任务因为上下文长度限制而难以达到最佳性能。子解法: Position Interpolation和Shift Short Att

文章图片
#人工智能
演员-评论家算法:多智能体强化学习核心框架

这可能导致智能体沿着曲面上的梯度盲目地寻找更高奖励的区域,这样的路径可能会很曲折,因为它会对每一个小波动都做出反应(打 X 的线)。在图中,如果我们将基线想象为一条穿过曲面的水平线,那么智能体的目标就是找到一个稳定的上升路径,而不是在每一个小坡度上都上下波动。如果低于基线,则相反。目标函数,所有时间步的状态-动作对,都使用同样的奖励进行加权,但同一个时间步当中,一部分动作是好的,另一部分是不好的。

文章图片
#算法
MedResearcher-R1:从“信息密度“到“连接密度“,从“大力出奇迹“到“巧力解难题“,不是知道更多,而是能从蛛丝马迹中推理出真相。

医学AI在回答"识别缬沙坦"这类问题时,准确率仅25.5%,而人类专家可以通过查阅资料最终找到答案。稀疏长链的本质现实中,药物从研发到应用是连续过程知识上,被人为切割成多个独立领域结果是,跨领域的连接变得稀疏。

文章图片
#人工智能
【强化学习战场谁为王?】近端策略优化算法 PPO、优势演员-评论家算法 A2C、异步优势演员-评论家算法 A3C、深度确定性策略梯度 DDPG、软性演员-评论家算法 SAC

您提到的演员-评论家 (Actor-Critic) 变种算法,包括 A2C (优势演员-评论家算法)、A3C (异步优势演员-评论家算法)、DDPG (深度确定性策略梯度) 和 SAC (软性演员-评论家算法),都是强化学习领域的重要算法。在需要快速迭代和处理大规模状态空间的任务中,A3C 和 PPO 可能表现更优。总结来说,没有一个算法可以称为“真正的王者”,因为每个算法都有其适用的场景。在处理

文章图片
#算法
眼底图像生成新 SOTA:GeCA模拟生物细胞的演变过程

输入值是图像的初始值,位置编码帮助像素细胞知道自己在图像中的位置,输出值是像素细胞目标状态,而隐藏状态则反映像素细胞的内部状态。在这个过程中,除了位于图像中心的一个像素细胞外,所有像素细胞的初始值都设为零。在本文中,我们介绍了一种新的模型家族,称为生成元胞自动机(GeCA),其灵感来源于从单细胞进化到生物体的过程。我们的方法是通过模拟生物细胞的演变过程,生成更多的OCT图像,帮助改进视网膜疾病的分

文章图片
#人工智能
HuatuoGPT-o1:基于40K可验证医学问题的两阶段复杂推理增强框架,通过验证器引导和强化学习提升医学模型的推理能力

A: 首次在医学领域引入可验证问题和医学验证器来发展复杂推理能力,通过两阶段训练方法:先利用验证器指导搜索得到复杂推理轨迹,再用强化学习进一步增强推理能力。A: 复杂推理(平均712个令牌)获得3.6点提升,而简单推理(281个令牌)只有2.6点提升,说明更长的推理过程提供了更丰富的学习信号。正例:一个关于疟疾并发症的诊断案例,模型通过多步推理,考虑症状(发热、寒战)、实验室检查结果,最终得出脑水

文章图片
#人工智能
KG Structure as Prompt:利用知识图谱构建Prompt,提高大模型对因果关系的理解

在少样本设置的实验中,我们证明了我们的方法优于大多数无KG基线,并达到了与使用完整数据集的传统微调相当的性能,即使在有限样本的情况下。形式上,我们将知识图谱定义为一个有向标记图KG = (N, E, R, F),其中N是节点(实体)集,E ⊆ N × N是边(关系)集,R是关系标签集,F : E → R是将边分配给关系标签的函数。我们比较了以下模型:模型(1)到(4)代表没有图上下文训练的模型,即

文章图片
#知识图谱#人工智能
怎么构建医学临床知识图谱?

因此,面对一个具体的患者,医生可能会选择一个基于个人偏好而不是最佳证据的治疗方案,这可能不是最优的选择,从而影响治疗效果和患者的长期健康。临床知识图谱不仅作为一个信息的整合者,还充当了一个智能的推理工具,它能够基于现有的知识和数据生成新的假设和见解,帮助找到新的治疗方法。然后,CKG还考虑了张阿姨的生活方式,提出了一系列个性化的饮食建议和运动计划,这些都是专门为她的情况量身定制的。最后,CKG分析

文章图片
#知识图谱#人工智能
【绝对通俗易懂】知识图谱增强 RAG 思路 和 实现方案

举例:在处理"类风湿性关节炎"和"骨关节炎"这两种常见的关节疾病时,Graph RAG 能准确识别它们在病因、发病机制和治疗方法上的本质区别,避免因表面症状相似而导致的误诊。在传统的语义搜索中,"心肌梗塞"与"胃溃疡"这两个看似风马牛不相及的疾病,可能因为都与"胸痛"这一症状相关而被错误地联系在一起。当你问"我最近头疼、肚子疼、还有点晕,这是怎么回事"时,管理员会从每个症状出发,分别去找可能的原因

文章图片
#知识图谱#人工智能
    共 516 条
  • 1
  • 2
  • 3
  • 52
  • 请选择