logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型解密之--多模态常见架构与模态对齐方法

对于不同模态的数据,先使用特定模型进行编码 然后使用交叉注意力模块将不同模态的数据映射到一个空间中,然后再使用transformer进行计算PCME的核心思想是将不同模态的数据表示为概率分布,通过均值和方差来捕捉数据的不确定性和多样性。通过局部注意力机制和特定的损失函数,PCME能够有效地处理图像和文本之间的一对多对应关系,并提供更可解释的嵌入表示。

文章图片
#机器学习#语言模型#深度学习 +3
到底了