如 ChatGPT、GPT4 这样的大型语言模型就像是你为公司请的一个牛人顾问，他在 OpenAI、Google 等大公司被预训练了不少的行业内专业知识，所以加入你的公司后，你只需要输入 Prompt 给他， 介绍一些业务上的背景知识，他就能马上上手干活了。然而，由于这个顾问专家不是你们公司所独有的，我们将利用客户的所在领域的中文语料，采用无监督学习的方式，将根据客户的具体需求和任务设计特定的微调

本期文章中，我们为大家带来了 3 篇自监督学习的相关论文，其中两篇是由卷积网络之父 Yann LeCun 参与发布。

经证实，在海量的数据集上训练的大型神经网络模型可以完成一些之前被认为是AI领域亟待攻克的问题。例如，正确识别猫和袋鼠的图像一直都被看作非常困难的问题，但现在通过使用大型的神经网络模型已经可以很好地解决。然而，这些模型都是在类别广泛的数据集上预训练得到的，因此在完成一些具体的实际任务时，表现却不尽人意。Jina AI Finetuner 通过增加新的训练数据来提高预训练模型的性能，进而更好的应用到具

实验结果也指向了一个清晰优先级：音频编码器的对齐质量是第一位的（stage-3 vs pre-stage-1 差了 4.2 个点），LLM backbone 的生成能力对向量化任务没有贡献（stage 2-3 训练前后没有差异）。一段音频和它的文本描述，在共享向量空间中距离很短。M3 用的是第三阶段之后完整训练过的音频编码器，M2 用的是 stage-1 之前的初始版本，两者 LLM backbo

CLIP 用的是对齐训练，而 V4 的多模态是一个真正的多模态，它把图片拆成小的 patch，和语言一起放到一个大的语言编码器中编译成向量，而不是像 CLIP 那样有一个图片模态、一个文本模态，然后两个模态之间对齐。这件事要难得多，因为对话是实时的，提取是有成本的，抽多了慢，抽少了漏。第三，也是我自己最在意的。：2023 年 10 月发布，在海外引起了比较大的轰动，因为当时它是第一个开源的、支持

最后也算是我的一点个人的坚持，我觉得既然是创业做公司，那目的就是要盈利。今年夏天在美国时，又和他们的管理层聊了不少次，在三番办公室里给他们的创始人、CEO、CPO 等做了几个小时的演讲，觉得相互之间的技术都高度互补，Elastic 的高层对我个人非常友好和信任，于是就开始了这个收购案。对于 Jina AI 而言，这其中包含很多的复杂的因素，包括美国和中国之间的地缘政治（当然还有德国），多个买方之间

Jina AI 高级工程师王峰应 CSDN 和示说技术沙龙邀请，进行了 DocArray 相关主题分享，本文为分享回顾。没来得及观看直播的小伙伴，可点击下方小程序，查看完整回放：【Show Notes】00:39Jina AI 简介01:58DocArray 介绍04:18DocArray 产生背景05:30传统搜索 vs 神经搜索16:...

「搜索」并不局限于我们常说的搜索引擎、搜索框，实际上，问答机器人本质上也是一种「搜索」，输入相关查询，返回最接近或最相关的答案。今天，我们将演示如何利用 Jina 全家桶，创建一个智能问答机器人，并将其部署到云端。开发过程一览：4 步创建问答机器人新冠爆发之初，人们对这种新型病毒充满疑问，本教程将以疫情相关的问答为应用场景，以普通 Chatbot 的交互形式为依托，最终实现用户在终端键入查询（问题

实验结果也指向了一个清晰优先级：音频编码器的对齐质量是第一位的（stage-3 vs pre-stage-1 差了 4.2 个点），LLM backbone 的生成能力对向量化任务没有贡献（stage 2-3 训练前后没有差异）。一段音频和它的文本描述，在共享向量空间中距离很短。M3 用的是第三阶段之后完整训练过的音频编码器，M2 用的是 stage-1 之前的初始版本，两者 LLM backbo

相比于单模态人工智能，能够同时处理多种类型信息的多模态AI技术，带来了更大的机遇，同时也要面临更复杂的挑战。MIT 科技评论在发布的最新洞察报告《多模态：人工智能的新前沿》中，详细阐述了多模态人工智能的发展状况和未来潜力，及其复杂性与挑战性。多模态是一个新兴术语，但它所描述的实际上是一种源远流长的理解方式：自人类出现以来，我们就是通过这种方式来了解世界的。人们通过视觉、听觉和触觉等多种感官，从各种