
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
LLAVA代码阅读:数据处理make_supervised_data_module
property@property定义两种获取文本长度的方式,第一种是直接给出文本长度如果有图像则预留128的空间,第二种则是不考虑图像的空间,并以返回数的正负性来标识是否存在图像。这两个方法貌似没有用到。

LLAVA代码阅读:train.py
attn_implementation:注意力机制接口,此参数决定模型使用何种注意力机制,此参数会在后面模型定义处使用local_rank:在分布式训练中使用,表示当前训练实例(进程)的本地排名或编号。在分布式训练时,local_rank用于指定每个进程的任务(比如在多卡训练时,每张GPU会有一个local_rankelse:else:根据是否有视觉塔来定义不同的模型。
到底了