Transformer 模型的出现标志着自然语言处理（NLP）技术的一次重大进步。这个概念最初是针对机器翻译等任务而提出的，Transformer 后来被拓展成各种形式——每种形式都针对特定的应用，包括原始的编码器-解码器（encoder-decoder）结构，以及仅编码器（encoder-only）和仅解码器（decoder-only）等变体结构，满足不同的 NLP 任务。本文将从基础的 enc

举个中文环境的例子，同一台洗衣机，商家A的标题是“全自动10kg变频滚筒”，商家B的标题是“10公斤变频滚筒洗衣机 静音节能”，对应的图片分辨率更是从300x300到2000x2000不等，甚至有商家用好几个角度的实物图的情况下，有的商家只用示意图。也是因此，在服务第三方商家、给自营产品定价时，比价系统的建设，举足轻重。也是因此，比价服务不仅要在平台内找相似款，还要监控全市场动向，提供竞对情报、平

在多个向量代表一个实体的场景中（如电商场景，一个商品可能包含多个角度的图片和描述），Struct 允许将不同类型的数据（如标量、向量、字符串等）组织成一个结构化的对象。从场景角度出发，该方案非常适配冷热数据二八分（热数据占比不到20%，但贡献80%以上访问的）的长尾场景，比如电商产品搜索、企业文档库、新闻媒体库等冷热数据分明的场景。这就导致一个尴尬的结果：即便大部分资源处于闲置状态，：社交平台的历

旧的 embedding 就过期了，需要重新计算。：计算每个chunk的SHA-256哈希，重复内容只索引一次——比如两处都提到“PostgreSQL 16”，只调用一次embedding API，能省20%以上的成本（具体测算：500KB文本，去重后每月可省$0.15，大规模使用可省数百美元）。而我们，也正是被这套记忆系统打动，然后做了一件事：把它的核心设计抽离出来，做成了memsearch，让

用4-5亿向量数据完成POC后，我们迅速将Milvus落地生产，而它带来的价值，甚至超出了我们的预期——不仅稳定支撑了百亿向量的写入与查询，实现了降本增效，版本升级与监控变得便捷，数据分发、segment管理、查询路由也都能自动完成，团队研发效率大大提升。最直观的就是数据管理的瓶颈：路测数据转化为embedding数据后，会对应一个FAISS索引文件，日积月累竟达到了数十万之多，这些文件孤立又重叠

本文中，我们将结合Milvus，讲一讲如何构建 RAG 多租户/多用户系统。

近几年，删库跑路事件在国内频频发生。前有“某公司程序员删库跑路被判刑六年”，后有某公司几百家客户数据遭严重删除。这不仅为公司本身带来直接的财产损失，更为严重的是，公司的公信力、品牌形象也随之毁于一旦。值得注意的是，这并非是“鲜少发生”的新闻事件。以我本人为例，犹记得之前在某家公司服务时，技术支持人员在客户现场快速写了一个脚本，本以为无懈可击，忽然发现把用户积累多年的数据一扫而空。好在该客户有数据备

01.前言为应对公司在大规模文本、图像等非结构化数据处理上的业务增长需求，笔者着手调研当前流行的开源向量数据库。主要针对查询速度、并发度和召回率这几大核心维度进行深入分析，以确保选定的数据库方案能够在实际业务场景中高效应对大规模数据检索和高并发需求。通过全面对比不同数据库的表现，得出可靠的调研结论。笔者首先在墨天轮排行榜中查看了国产向量数据库的排行情况。前三名分别是 Milvus、TensorDB

ONN 在神经网络中引入光学技术

但只有开源是不够的，大型开源项目的迭代维护是需要很高的人力投入，单靠个人开发者几乎无法支撑，业界知名的数据服务相关的开源项目，比如Spark、MongoDB、Kafka，背后都是有成熟的商业化公司在运营。在此基础上，VDB的商业化方案，则应该保持云中立，在保证弹性、低运维投入的基础上，能满足不同业务、不同地区产品，以及不同阶段企业的多样化需求。Top-K相似性检索是最常见的向量检索需求，但除此之外