现在文本领域的大模型，如chatgpt对文字的理解能力已经做到很强了。那么怎么让大模型不仅会“说”，而且会“看”，拥有跨图像和文字的多模态能力呢？多模态的算法其实研究了很长时间了，进入大模型时代后是一个质变的飞跃时刻。就是标志着“transformer”这一种模型架构可以一统江湖了。这里限于篇幅，就列出多模态理解的一个重要的论文——CLIP。（原来是openai出品的文章。。现在才发现。果然ope

正负样本不均匀的问题：实际场景，正样本远少于负样本，用了针对样本不平衡的loss比如dice loss，weighted ce等，然后多种loss采用加权和的方式进行融合（问题：有没有其他融合的方式呢？后来使用了HyQE的方法，针对一段文本，提出一个问题和它对应，以补充的问题来建立文档索引。主要是从网上爬取文本数据，然后给公开的审核接口先过一遍，然后训练过程中遇到的难样本，重新标注再训练。有两个困

我回答说有一个规则判断的方法，如果问到的问题不匹配提问的规则，那么就过滤掉。但是面试官后面的反问里说，业务上是先训练一个意图判断的接口，看看这个是属于哪个分类，然后调用相应的agent。大模型在电商的应用场景主要是导购机器人，这里的问题是如果是连衣裙搭配，大模型怎么回答？疑问：如果是这样的效果，现在的推荐算法，猜你喜欢这种能不能做？项目里还写用到了强化学习，但是其实强化学习的用处不大。这一点回顾简