在使用DistributedDataParallel训练model的时候，发现在进行forward的过程中，会碰到DistributedDataParallel' object has no attribute的问题。观察可以看到此时的model已经被封装进类似DistributedDataParallel的类里，此model非平常使用的model，所以导致调用原始model的函数时会出现obje

问题：写模型的途中碰到这个问题，一顿百度要不说是pytorch版本问题，要不就说是类别索引超了引起，不过都没啥用，因为报错的地方是一个很简单的赋值操作。scores[:, 0] = -float("inf")#RuntimeError: CUDA error: an illegal memory access was encountered同时在debug的过程当中发现，模型某个网络执行后爆了个w

模型首先在前几层采用非对称的co-attention架构，通过移除视觉侧的co-attention来提高效率，再将原始的视觉表示和语言侧的co-attention的输出串联输入到一层self-attention。对比不同多模态融合方法的耗时和性能，其中Asymmetric co-attention融合是BLIP模型中的结构，Encoder端的text特征与vit输出的image特征进行Cross-

学习MoCo思想，引入momentum encoder和Queue扩大对比学习的batch大小，base encoder用于梯度更新产生新的embedding，momentum encoder根据以下公式更新，k表示momentum encoder参数，q表示base encoder参数，主要为了提升embedding的一致性，维持队列大小，将最新的embedding入队列，弹出队列头embedd

1. h5py 文件介绍一个h5py文件是 “dataset” 和 “group” 二合一的容器。1. dataset : 类似数组组织的数据的集合，像 numpy 数组一样工作2. group : 包含了其它 dataset 和 其它 group ，像字典一样工作看下图：通过上图，我们可以知道 h5py 文件就像是文件夹一样，里面很放文件还有文件夹，主文件夹以 ‘/’ 开始，这又像Linux的树

学习MoCo思想，引入momentum encoder和Queue扩大对比学习的batch大小，base encoder用于梯度更新产生新的embedding，momentum encoder根据以下公式更新，k表示momentum encoder参数，q表示base encoder参数，主要为了提升embedding的一致性，维持队列大小，将最新的embedding入队列，弹出队列头embedd

T5（Transfer Text-to-Text Transformer）模型：一个统一框架，靠着大力出奇迹，将所有 NLP 任务都转化成 Text-to-Text （文本到文本）任务。比如英德翻译，只需将训练数据集的输入部分前加上“translate English to German（给我从英语翻译成德语）” 就行。假设需要翻译"That is good"，那么先转换成 "translate

vscode编程时python文件中导入的库出现红波浪线，但是又能正常运行。解决方法：工具栏选择Setting，搜索pylint，找到Pylint Args选线，点击Add Item按钮，输入--generate-members即可。...

1. h5py 文件介绍一个h5py文件是 “dataset” 和 “group” 二合一的容器。1. dataset : 类似数组组织的数据的集合，像 numpy 数组一样工作2. group : 包含了其它 dataset 和 其它 group ，像字典一样工作看下图：通过上图，我们可以知道 h5py 文件就像是文件夹一样，里面很放文件还有文件夹，主文件夹以 ‘/’ 开始，这又像Linux的树

题外话很多Python源码中，会有一句if __name__ == '__main__':，其中__name__为python的一个内置类属性，存在于每一个python程序中，不同运行方式会出现不同的结果。直接运行当前程序，文件中的__name__的值为“__main__”。其他程序导入当前python程序，原文件中__name__的值为“原文件的名字”。python的importlib模块作用动