我们正处于人工智能新时代的风口浪尖，正从单模态大步迈向多模态 AI 时代。在 Jina AI，我们的 MLOps 平台帮助企业和开发者加速整个应用开发的过程，在这一范式变革中抢占先机，构建起着眼于未来的应用程序。本文由 Jina AI 创始人肖涵为大家带来多模态 AI 技术的行业洞察分享。本文作者：肖涵博士，Jina AI 创始人兼 CEO如果别人问到我们 Jina AI 是做什么的，我会有以下.

Jina AI 专注于打造针对多模态应用的 MLOps 开发运维工具，帮助开发者快速搭建包括神经搜索和生成式 AI 在内的多模态应用。最近，Jina AI Cloud Alpha 版本正式上线啦！它简化了多模态 AI 应用的部署和管理，让你可以把更多的时间和精力专注于构建超酷的产品，而不必再为 Kubernetes、部署等繁琐细节所困扰。Jina AI Cloud 有什么？????一站式管理的仪表

多模态向量通过统一的数据表示，实现了不同模态数据的搜索和理解，是神经检索和多模态生成式 AI 应用的基石。今天，我们推出了全新的通用多语言多模态向量模型 —— jina-clip-v2。该模型基于 jina-clip-v1 和 jina-embeddings-3构建，并实现了多项关键改进：性能提升：v2 在文本-图像和文本-文本检索任务中，性能较 v1 提升了 3%。此外，与 v1 类似，v2 .

CLIP 模型架起了文本和图像的桥梁，但实际上很少有人会用它来进行文本检索，因为CLIP的文本编码器无法有效的对长文本进行语义建模。为了解决这一问题，我们推出了 Jina CLIP v1，一个增强版的 OpenAI CLIP 模型，擅长文本-文本、文本-图像、图像-文本、图像-图像四个方向的检索。从现在起，你的 CLIP 模型不仅是图像检索器，更是强大的文本检索器。在构建多模态 RAG 应用时，你

由于我们有两种模态，对于任何给定的查询，我们实际上会面临两个潜在的语义鸿沟：查询与文本之间的鸿沟，以及查询与图像之间的鸿沟。更进一步，如果我们想合并“Query-to-text”和“Query-to-image”两种检索方式的候选结果，在分数根本不具备可比性的情况下，我们又该如何有意义地选出最佳匹配呢？简单比较或组合这些分数，很难得到一个合理的结果。简单来说，“模态鸿沟”指的是不同模态（比如图像和

深度多模态学习能够更全面地理解数据，在准确性和效率上均有大幅提升。但首先，什么是多模态深度学习？它有哪些应用场景？本文将从定义、应用与前景三个角度来回答这两个问题。随着深度神经网络的发展，深度学习也逐渐向多模态技术迈进。多模态技术为非结构化数据的智能处理提供了可能，包括图像、音频、视频、PDF 和 3D 网格。多模态深度学习不仅可以更全面地理解数据，还可以提高模型的效率和准确性。Jina AI 是

其中，其多向量版本不仅在专业的视觉文档基准上取得了最高分（ViDoRe 90.2 分，Jina-VDR 80.2 分），同时在通用的多模态检索任务（CLIP 84.1 分）上也保持了强大的竞争力。我们没有采用高成本的长序列训练，而是通过“短训长用”（train short, deploy long）的巧思，借助 ALiBi 算法，让一个仅在 512 词元上训练的模型，推理时能无缝处理 8192 词

为此，我们专门 fork 了 llama.cpp，改造了它的向量处理器，设计了一套分阶段的处理流程，让它能够直接接收 Base64 编码的图像。中补全这一能力，同时，我们也会将其性能（包括两个量化版本）与 PyTorch 版的 jina-embeddings-v4，也就是我们后文将反复提及的参考模型，进行全面的性能对比。为了进一步深挖两者之间可能存在的细微差异，我们还选取了来自不同领域、不同分辨率

文章导读 本期 Jina AI 社区面对面，我们有幸邀请到了华为昇腾开源生态总监黄之鹏，他将围绕 MindSpore 及 Jina，带来精彩的分享。云原生神经搜索框架 Jina，与华为自研...

Jina AI 的开源向量索引产品AnnLite的核心近似搜索算法是基于 HNSW 来实现，并在此基础上提供了更加丰富的功能（例如支持前置过滤近似查询）。为了使得 AnnLite 能够具备更强的竞争力和实际应用价值，我们对 HNSW 算法进行了改进和优化。10 月 26 日晚 7:00，我们邀请到了负责本优化项目的叶坚白，来分享《近似最近邻搜索算法 HNSW 的改进与优化》。作者介绍叶坚白J...