摘要：向量检索是AI核心底座，从搜推召回、RAG到大模型推理，处处离不开它。作为Facebook开源的主流向量检索工具，Faiss虽高效通用，但在高并发、大规模数据场景及鲲鹏等特定架构下，仍存在性能瓶颈，难以充分释放硬件算力。

我们基于Faiss 官方 1.8.0 版本推出补丁式软硬协同优化方案，不改变原有使用逻辑，无需额外适配开发，在鲲鹏 950处理器上，主流索引 QPS 平均提高50%，FP16内存占用直降36%，聚焦“轻量优化、极致提效”。

四大核心优化，直击原生痛点

1. 架构原生加速：榨干鲲鹏每一滴算力

痛点：原生 Faiss 的距离计算、查表等核心函数以通用 C++ 标量代码实现，未针对 ARM 架构做 SIMD 适配，鲲鹏处理器的向量计算单元长期闲置，硬件算力浪费严重。

● 集成鲲鹏 KRL 加速算子库，替换距离计算、查表、排序等核心热点函数，单条指令并行处理多组运算

● 深度适配 ARM NEON 指令集，将原生逐点串行计算升级为批量并行操作，计算效率提升 2 倍以上

2. 内存效率革命：从根源解决访存瓶颈

痛点：原生 Faiss 的 PQ 编码按向量行存储，查表时同一子量化器的编码分散在内存各处，导致大量 cache miss；HNSW 图节点按插入顺序存储，搜索时邻居节点在内存中跳跃分布，访存效率极低。此外，每次查询都动态分配/释放临时缓冲区，高并发下内存碎片化严重。

● 创新双重数据重排技术：PQ 码重排让查表更连续，HNSW 图 BFS 重排让邻居访问更有序，将随机访存转为连续访存

● 提前预分配统一临时缓冲区，把查询期频繁的内存分配/释放前移到索引构建阶段

3. 算法智能调优：剔除无效计算

痛点：原生 Faiss 的 IVFPQ 距离计算采用通用循环逻辑，存在大量冗余分支判断；FastScan 使用统一内核处理所有块大小，无法针对高频场景做极致优化；查询阶段仍需执行部分预处理逻辑，引入不必要的运行时开销。

● IVFPQ/IVFPQFS 索引批量距离计算优化，减少循环与分支开销

● FastScan 快查表专项优化，针对 32/64/96 主流块大小定制专用内核，避免通用逻辑的冗余计算

● 索引构建阶段一次性完成所有预处理，查询阶段只做纯计算，无额外运行时开销

4. 低精度无损提速：内存与性能双丰收

痛点：原生 Faiss 仅支持 FP32 存储与计算，百万级千维向量占用超 4GB 内存，在内存受限的部署环境中成为瓶颈，且 FP32 的带宽消耗限制了计算吞吐。

● 全链路支持 FP16 数据类型，向量存储内存占用直降36.48%，千维向量存储从 4.02GB 降至 2.24GB

● 优化 FP16 距离计算与范数函数，精度损失可忽略不计，召回率与 FP32 模式一致

● 兼容原有 FP32 业务，可按需混合使用，灵活平衡性能、精度与存储成本

实测性能：速度与精度兼得

基于 sift-128 标准数据集，在鲲鹏 950 处理器上的实测结果：

落地场景全覆盖，赋能多行业AI升级：

● 搜索推荐召回：电商、短视频、新闻等平台的召回层依赖向量检索做候选集筛选。优化后单机 QPS 提升显著，同等硬件下可支撑更大规模候选池，减少召回阶段对下游排序的延迟压力；

● RAG 知识检索：大模型结合外部知识库时，需要毫秒级从百万文档向量中匹配相关段落。检索延迟直接影响端到端响应速度，优化后可在不加机器的前提下支撑更高并发的问答请求；

● 图像/视频指纹检索：版权检测、以图搜图等场景需要对海量多媒体特征向量做近似匹配。FP16 支持将存储成本降低三分之一，同时保持检索精度不变，适合存储敏感的部署环境。

三步上手，即刻体验

本次 Faiss 优化补丁已集成至鲲鹏 BoostKit 搜推广使能套件，同时提供独立补丁包下载：

1. 访问鲲鹏社区下载0001-faiss_1.8.0-optimize-neq.patch补丁文件

2. 基于官方 Faiss 1.8.0 源码打补丁，按文档编译生成优化版库文件

3. 替换原有 Faiss 库，无需修改任何业务代码，重启服务即可生效

相关地址：

详细实践与指导文章见鲲鹏社区官网：

https://www.hikunpeng.com/document/detail/zh/boostsra/krecall/faiss/README.md

---

「免责声明」：以上页面展示信息由第三方发布，目的在于传播更多信息，与本网站立场无关。我们不保证该信息(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实，不对您构成任何投资建议，据此操作，风险自担，以上网页呈现的图片均为自发上传，如发生图片侵权行为与我们无关，如有请直接微信联系g1002718958。