背景痛点：传统关键词搜索的局限性

传统文件搜索主要依赖关键词匹配（如Windows文件搜索或数据库LIKE查询），存在三个核心问题：

• 语义鸿沟：搜索"动物"时不会返回包含"犬科"的文档，尽管两者相关
• 长尾词失效：专业术语或缩写词（如"NLP" vs "自然语言处理"）难以匹配
• 无排序能力：无法根据语义相关性对结果进行智能排序

技术方案对比

通过对主流文本表示方法的实验对比（测试集：10万条中文文档）：

| 方案 | 准确率@5 | 查询延迟 | 内存占用 | |------------|---------|---------|---------| | TF-IDF | 0.42 | 12ms | 1.2GB | | Word2Vec | 0.61 | 28ms | 3.8GB | | BERT-base | 0.83 | 210ms | 1.5GB | | SBERT | 0.79 | 45ms | 1.6GB |

注：SBERT在准确率与性能间取得较好平衡

核心实现方案

1. 文档向量化

采用Sentence-BERT（arXiv:1908.10084）生成384维文档向量：

from sentence_transformers import SentenceTransformer

# 加载预训练中文模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

def encode_docs(texts: List[str]) -> np.ndarray:
    """
    批量生成文档向量
    :param texts: 预处理后的文本列表
    :return: numpy数组形状为[n_samples, 384]
    """
    return model.encode(texts, convert_to_numpy=True)

2. 向量索引构建

使用FAISS进行近似最近邻搜索：

import faiss

class VectorIndex:
    def __init__(self, dimension=384):
        self.index = faiss.IndexFlatIP(dimension)  # 内积相似度

    def add_vectors(self, vectors: np.ndarray):
        """ 标准化后添加到索引 """
        faiss.normalize_L2(vectors)
        self.index.add(vectors)

    def search(self, query_vec: np.ndarray, k=5) -> Tuple[np.ndarray, np.ndarray]:
        """
        返回相似文档的索引和分数
        :return: (scores, indices)
        """
        faiss.normalize_L2(query_vec)
        return self.index.search(query_vec, k)

3. 服务化部署

基于FastAPI构建RESTful接口：

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class SearchRequest(BaseModel):
    query: str
    top_k: int = 5

@app.post("/search")
async def semantic_search(req: SearchRequest):
    query_vec = model.encode([req.query])
    scores, indices = index.search(query_vec, req.top_k)
    return {
        "results": [{"doc_id": int(i), "score": float(s)} 
                   for s, i in zip(scores[0], indices[0])]
    }

性能优化策略

索引构建加速

• 并行处理：使用PyTorch DataLoader多线程加载文档
• 增量更新：通过FAISS IDMap实现动态添加

查询优化

• 量化压缩：采用PQ8量化使内存占用减少4倍
• 缓存层：对高频查询结果进行LRU缓存

避坑指南

1. 中文分词问题

2. 避免直接使用空格分词，推荐采用jieba的搜索引擎模式

   import jieba
   jieba.load_userdict("custom_words.txt")  # 添加领域术语
   
   def chinese_tokenizer(text):
       return " ".join(jieba.cut_for_search(text))

3. 维度灾难应对

4. 当文档超过10万时，建议改用FAISS的IVF索引

   nlist = 100  # 聚类中心数
   quantizer = faiss.IndexFlatIP(384)
   index = faiss.IndexIVFFlat(quantizer, 384, nlist)

5. 冷启动方案

6. 预计算Top 1万高频查询的向量结果
7. 使用TF-IDF作为后备方案直到向量索引就绪

效果验证

在测试环境（4核CPU/16GB内存）的表现：

• 索引构建：每小时处理约15万文档
• 查询性能：P99延迟 < 80ms
• 准确率：在客服工单数据集上达到0.81的nDCG@5

扩展方向

1. 结合元数据过滤（如时间范围、文件类型）
2. 实现混合搜索（向量+关键词）
3. 支持个性化排序（根据用户历史点击反馈）