登录社区云，与社区用户共同成长
邀请您加入社区
为遵守国家网络实名制规定，未绑定将限制内容发布与互动
摘要：该论文提出了一种用于图像操作定位的 Mesorch 架构。它将微观和宏观信息整合到介观层面，通过并行结合 Transformer 和 CNN，利用多尺度方法，引入自适应加权模块和模型修剪方法，在四个数据集上的实验表明，模型在 F1 分数、计算复杂度和鲁棒性方面达到了最先进的性能。 引言：介观系统处于宏观和微观尺度之间，图像操作定位（IML）长期依赖微观层面的痕迹，但实际中操作常在对象层面（
论文标题： Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model 论文地址： https://arxiv.org/abs/2408.11039 主页地址： https://github.com/lucidrains/transfusion-pytorch a. 利用 VAE encode
论文标题： Show-o: One Single Transformer to Unify Multimodal Understanding and Generation 论文地址： https://arxiv.org/abs/2408.12528 主页地址： https://github.com/showlab/Show-o a. 整体思路和 Transfusion 类似，区别是尝试了 dis
论文标题： Generative Multimodal Models are In-Context Learners 论文地址： https://arxiv.org/abs/2312.13286 主页地址： https://baaivision.github.io/emu2 a. Visual Encoder 使用 EVA-02-CLIP-E-plus，LLM 使用 LLaMA-33B，Visua
论文标题： NExT-GPT: Any-to-Any Multimodal LLM 论文地址： https://arxiv.org/abs/2309.05519 主页地址： https://next-gpt.github.io/ a. 多模态编码阶段：利用用 ImageBind 的编码器，loss 是各个模态的 caption。 b. 多模解码阶段：主要目的是使扩散模型与 LLM 的输出指令
论文标题： Emu: Generative Pretraining in Multimodality 论文地址： https://arxiv.org/abs/2307.05222 代码地址： https://github.com/baaivision/Emu a. Visual Encoder：先用 EVA-CLIP 进行图像编码，然后通过 Causal Transformer 进行 2D 信息建
