logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LLAVA代码阅读:数据处理make_supervised_data_module

property@property定义两种获取文本长度的方式,第一种是直接给出文本长度如果有图像则预留128的空间,第二种则是不考虑图像的空间,并以返回数的正负性来标识是否存在图像。这两个方法貌似没有用到。

文章图片
#深度学习#人工智能
LLAVA代码阅读:train.py

attn_implementation:注意力机制接口,此参数决定模型使用何种注意力机制,此参数会在后面模型定义处使用local_rank:在分布式训练中使用,表示当前训练实例(进程)的本地排名或编号。在分布式训练时,local_rank用于指定每个进程的任务(比如在多卡训练时,每张GPU会有一个local_rankelse:else:根据是否有视觉塔来定义不同的模型。

#python
到底了