logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Nature Communications | 上下文学习使多模态大语言模型能够对癌症病理图像进行分类

本文评估了一种基于上下文学习的通用框架GPT-4V,展示了如何在医学图像分类任务中有效地应用视觉语言模型(VLM)。作者使用GPT-4V模型进行相关实验,表明通过小样本学习,GPT-4V在多标签的医学显微图像分类任务中表现出色,能够接近传统深度学习模型的性能,显著缩小了通用模型与特定领域病理学模型(如Phikon和UNI)的性能差距。实验结果表明,使用五到十张示例图像,GPT-4V能够实现接近当前

文章图片
#学习#语言模型#分类 +4
论文浅尝 | SAC-KG:利用大语言模型作为领域知识图谱熟练的自动化构造器(ACL2024)

本文提出了一种新型的自动领域知识图谱构建框架SAC-KG,该框架可直接从领域语料库中高效地构建知识图谱。SAC-KG将LLM用作领域专家,并迭代地采用实体诱导树搜索算法来构建多层级知识图谱。具体而言,我们提出了生成器、验证器和修改器,以形成具有自动化、精确性和可控性的通用知识图谱构建框架。SAC-KG以89.32%的精度构建了超过一百万个节点的领域知识图谱,实现了超过 20% 的精度指标提升。

文章图片
#语言模型#知识图谱#自动化 +4
隐私保护与大型语言模型,PrivacyRestore技术详解

PrivacyRestore的核心思想是通过移除用户输入中的隐私片段,并在模型推理过程中通过激活引导技术恢复隐私信息。具体来说,PrivacyRestore框架包括以下几个步骤,隐私片段的定义与识别,确定输入文本中需要保护的隐私信息,并将其移除。激活引导的基本原理,使用恢复向量在推理过程中进行激活引导,恢复被移除的隐私信息。注意力感知加权聚合(AWA),计算各隐私片段的重要性权重,并通过加权聚合生

文章图片
#语言模型#网络#服务器 +4
视觉RAG:变革传统深度学习模型开发流程,开创下一代多模态视觉模型的新时代

1.1 什么是视觉提示?为了更好地理解检索增强生成 (RAG) [1],我们首先来了解“提示”的定义。提示是一种通过提供特定指令或查询来指导基础模型(例如多模式大型语言模型(MLLM))执行任务的技术。在视觉领域,视觉提示[3] 使用视觉输入(例如图像、线条或点)来指示大规模视觉模型执行特定任务,通常包括模型未明确训练的任务。下图展示了如何将可提示模型用来创建更强大的系统,其中的关键见解是模型可以

文章图片
#深度学习#人工智能#算法 +2
终于把深度学习中的微调、提炼和迁移学习搞懂了!!

微调(Fine-tuning):通过在预训练模型的基础上进行小范围的训练,适应新任务。提炼(Distillation,知识蒸馏):通过将大模型的知识转移到小模型,优化模型的效率和存储。迁移学习(Transfer Learning):将一个任务上学到的知识应用到另一个相关任务,解决数据不足的问题。这三者在实际应用中常常结合使用,根据具体的任务需求选择合适的技术,可以显著提升深度学习模型的效果和效率。

文章图片
#深度学习#迁移学习#人工智能 +4
大模型训练开销还能更小!微软推出首个FP4训练框架,训练效果与BF16相当

来了,来自微软研究院!在相同超参数的设置下,可以达到。这意味着。用这种方法训练的模型规模最高可达130亿参数规模,训练Tokens数量也达到千亿级别。而且用的还不是真·FP4,而是通过FP8来模拟,如果采用真的FP4,效果还能进一步提升。(注:研究开展时,尚未有原生支持FP4的硬件,故作者通过在FP8的TensorCore上模拟实现)网友评论说,效率更高质量却没什么损失,FP4真的是个game c

文章图片
#人工智能#深度学习#音视频 +2
使用RAG技术构建企业级文档问答系统:新架构LightRAG

LightRAG是一种结合知识图谱技术的新型RAG架构,它是由北京邮电大学和香港大学联合发表的论文,简单说,LightRAG还是对检索方面做了比较大的创新,具体而言有两点:图结构化文本索引:使用LLM识别文本中的实体(如人名、地点、事件)及其关系,从而构建知识图谱,这样能够更有效地捕捉实体之间地复杂依赖关系。双层检索机制:LightRAG采用双层检索系统,结合低层次检索(针对特定实体及其关系的精确

文章图片
#架构#人工智能#eureka +3
IEEE TSMC | 深度好文!结合数据驱动与模糊表达策略!DKIL:数据-知识驱动的归纳学习方法,用于废水处理过程的建模

荐读的论文提出的DKIL的框架图如图1所示。首先,设计了一个模糊表达策略(Fuzzy-based expression strategy,FES)来提取废水处理厂中的可用数据和知识,并将其表示为模糊规则,以描述废水处理厂的运行状态。接着,通过异质同化机制(HAM)将不同类型的模糊规则融合,实现数据与知识之间的互动。最后,通过协同优化算法(COA),更新前提参数和融合权重,从而实现对废水处理厂的精准

文章图片
#学习方法#人工智能#知识图谱 +2
RAGEN:通过多轮RL强化学习理解 LLM Agent的自我进化

最近由斯坦福大学、微软研究院、西北大学等机构联合发表的最新研究成果无疑又给泼了一盆冷水,这篇论文《RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning》讽刺性地描绘这种**多轮自我强化并不等同于真正的自我进化**(self-evolution),反而会因为“递归”(即每一回合都

文章图片
#人工智能#搜索引擎#算法 +1
医图顶会 MICCAI‘23 | FocalUNETR: CT图像分割的基于边界感知的焦点Transformer

基于计算机断层扫描(CT)的精确前列腺分割对于治疗计划至关重要,但由于CT软组织对比度差导致的前列腺边界不清晰,以及基于卷积神经网络的模型在捕获长距离全局上下文方面的局限性,这一任务充满挑战。在本文中,作者提出了一种新颖的基于焦点变换器的图像分割架构,有效地从CT图像中提取局部视觉特征和全局上下文。此外,作者设计了一个辅助的边界诱导标签回归任务,与主要的前列腺分割任务相结合,以解决CT图像中边界不

文章图片
#transformer#深度学习#人工智能 +3
    共 898 条
  • 1
  • 2
  • 3
  • 90
  • 请选择