logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

2、微调VS提示工程

微调和提示工程都是让预训练语言模型适应特定任务的两种常见方法。

文章图片
#人工智能#深度学习#机器学习
14、论文阅读:SuperYOLO:多模态遥感图像中的超分辨率辅助目标检测

在遥感图像 (RSI) 中,准确且及时地检测包含几十个像素的多尺度小物体仍然充满挑战。现有的大多数解决方案主要设计复杂的深度神经网络,以从背景中分离出物体并学习强特征表示,但这通常会导致高计算负担。本文提出了一种名为SuperYOLO的 RSI 目标检测方法,具有准确且快速的特点。该方法通过融合多模态数据和辅助超分辨率 (SR) 学习,在多尺度目标的高分辨率 (HR) 检测中兼顾检测精度和计算成本

文章图片
#论文阅读#目标检测#人工智能
加载模型出现 RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict

load_state_dict方法参数的官方说明 strict参数默认是true,他的含义是 是否严格要求state_dict中的键与该模块的键返回的键匹配。将load_state_dict(state_dict) 改成model.load_state_dict(state_dict,,模型加载状态字典时将不会严格检查每个键是否匹配,允许部分加载,这在处理预训练模型或自定义模块时非常有用。

文章图片
#计算机视觉
11、QLora

QLora是一种非常有效的微调办法,可以对具有大规模模型参数的模型进行微调。例如它可以用来微调一个具有 650 亿个参数的大型模型,更重要的是,QLORA 能让这个巨大的模型在单个 48GB 的 GPU 上完成微调,还能保持与 16 位全精度微调相同的性能。最好的模型被命名为Guanaco,可以在单个GPU上用很短的时间完成训练,同时表现非常好。

文章图片
#论文阅读#人工智能
2、微调VS提示工程

微调和提示工程都是让预训练语言模型适应特定任务的两种常见方法。

文章图片
#人工智能#深度学习#机器学习
加载模型出现 RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict

load_state_dict方法参数的官方说明 strict参数默认是true,他的含义是 是否严格要求state_dict中的键与该模块的键返回的键匹配。将load_state_dict(state_dict) 改成model.load_state_dict(state_dict,,模型加载状态字典时将不会严格检查每个键是否匹配,允许部分加载,这在处理预训练模型或自定义模块时非常有用。

文章图片
#计算机视觉
到底了