这项工作的意义在于为医学AI提供了一个统一的多模态解决方案，既保持了专门化的优势，又避免了多任务学习中的常见冲突问题。异构知识适配：提出Heterogeneous Low-Rank Adaptation (H-LoRA)，将理解和生成任务的知识存储在独立的"插件"中。自回归设计：使用离散token表示统一文本和视觉输出，将理解和生成任务都建模为自回归生成。差异化处理：针对理解任务使用抽象层特征，生

这篇发表在《Nature Medicine》上的论文介绍了EyeFM，一个用于眼科临床辅助的多模态视觉-语言基础模型。以下是核心要点：研究背景与目标研究团队开发了EyeFM作为眼科临床"副驾驶"(copilot)，旨在辅助而非替代眼科医生的临床工作。该模型基于1450万张眼科图像和40万份临床文本进行预训练，涵盖5种成像模式。

医疗多模态大语言模型的构建LLaVA-Med是第一批专门针对医疗领域的大规模视觉-语言模型之一，能够同时理解医学图像和文本，为医疗AI应用提供了新的技术路径。医疗多模态数据集的创建构建了大规模的医疗图像-文本配对数据集，包含放射影像、病理图像、皮肤病图像等多种医疗图像类型，为模型训练提供了丰富的医疗领域知识。指令调优在医疗领域的应用将指令调优技术成功应用到医疗多模态任务中，使模型能够理解和执行各种

出现conda 环境名字丢失的情况可以使用source + env_path 激活环境source + env_pathsource /home/lus.....使用clone 重新创建虚拟环境使用clone 克隆新的环境，然后删除没有名字的虚拟环境。conda create -n name --clone path...

AMI-Net (Adaptive Mask Inpainting Network) 是一种新颖的自适应掩码修复网络，专为工业领域的异常检测与定位而设计。该方法通过创新的自适应掩码技术，有效地解决了传统重建方法难以修复异常区域的问题。

首先演示安装VS2017，然后展示配置opencv

torch.cat 和 torch.stack看起来相似但是性质还是不同的使用python中的list列表收录tensor时，然后将list列表转化成tensor时，会报错。这个时候就要使用torch.stack进行堆叠，转化成tensor。torch.cat()torch.cat(tensors,dim=0,out=None)→ Tensortorch.cat()对tensors沿指定维度拼接，

PyTorch模型参数量和推理速度计算

首先创建一个虚拟环境conda create -n open-mmlab python=3.7 -yconda activate open-mmlab可以参考mmsegmention的官网安装文档首先安装pytorch框架(GPU)pip install torch1.9.0+cu111 torchvision0.10.0+cu111 torchaudio==0.9.0 -f https://do

args和kwargs组合起来可以传入任意的参数，这在参数未知的情况下是很有效的，同时加强了函数的可拓展性。def test_kwargs(first, *args, **kwargs):print('Required argument: ', first)print(type(kwargs))for v in args:print ('Optional argument (args): ', v