背景与痛点

在传统资讯搜索中，开发者常遇到两个核心问题：

1. 时效性差：常规爬虫更新频率低，热点技术动态往往滞后12小时以上
2. 结果冗余：关键词匹配导致相关度低，比如搜索"Python协程"会混入大量基础教程

我们实测某开源技术论坛的搜索功能，输入"React 18新特性"，前10条结果中仅有3条与主题强相关，且最新内容排在第二页。

技术选型

NLP模型对比

• BERT优势：
• 擅长理解搜索query的上下文（如区分"Java面试"和"JavaScript面试"）
• 预训练模型开箱即用，微调成本低

• 实测准确率比TF-IDF高42%

• GPT局限：

• 生成式模型可能改写原始信息
• 长文本处理消耗GPU资源（实测每条query推理耗时比BERT多300ms）

最终选择bert-base-uncased+自定义微调方案，在1000条标注数据上达到89%的NDCG@5评分。

核心实现

实时爬虫架构

1. 分布式调度：

   class CrawlerScheduler:
       def __init__(self, redis_conn: Redis):
           self.broker = redis_conn
   
       def add_seed_urls(self, urls: list[str], priority: int):
           pipe = self.broker.pipeline()
           for url in urls:
               pipe.zadd('crawl_queue', {url: time.time() - priority*1000})
           pipe.execute()

2. 反爬策略：

3. 动态User-Agent池（维护200+浏览器指纹）
4. 请求间隔随机化（0.5s~3s）
5. 自动验证码识别模块（使用CNN+CTCLoss）

语义理解模块

from transformers import BertTokenizer, BertModel
import torch

class SemanticEncoder:
    def __init__(self, model_path: str):
        self.tokenizer = BertTokenizer.from_pretrained(model_path)
        self.model = BertModel.from_pretrained(model_path)

    def encode(self, text: str) -> torch.Tensor:
        inputs = self.tokenizer(text, return_tensors="pt", 
                              truncation=True, max_length=512)
        with torch.no_grad():
            outputs = self.model(**inputs)
        return outputs.last_hidden_state[:,0,:]  # [CLS]向量

排序算法

采用MMR（Maximal Marginal Relevance）平衡相关性与多样性：

def mmr_sort(docs: list[Doc], query_vec: np.ndarray, lambda_: float=0.7):
    """
    docs: 待排序文档列表
    query_vec: 查询语句的语义向量
    lambda_: 相关性 vs 多样性权重
    """
    sim_matrix = cosine_similarity([d.vector for d in docs])
    selected = []
    while docs:
        scores = [
            (1-lambda_)*cosine(query_vec, doc.vector) - 
            lambda_*max([sim_matrix[i][j] for j in selected] or [0])
            for i, doc in enumerate(docs)
        ]
        idx = np.argmax(scores)
        selected.append(docs.pop(idx))
    return selected

性能优化

并发索引构建

1. 使用Ray框架实现分布式特征提取
2. 倒排索引采用分片存储（每1万文档一个shard）
3. 实测数据：
4. 单机处理100万文档：从4.2小时→37分钟
5. 查询P99延迟：从320ms→89ms

缓存策略

• 热点query结果缓存（TTL=15分钟）
• 语义向量预计算（节省70%在线推理资源）

避坑指南

1. 非结构化数据处理：
2. 错误做法：直接拼接HTML所有text节点

3. 正确方案：

   from readability import Document
   
   def extract_main_content(html: str) -> str:
       doc = Document(html)
       return doc.summary()  # 自动识别正文区域

4. 冷启动问题：

5. 初期用SimCSE生成伪标注数据
6. 用户行为埋点收集CTR数据

延伸思考

建议尝试将搜索系统与知识图谱结合：

1. 用OpenIE提取实体关系
2. 构建技术概念的上下位关系（如"React→前端框架→JavaScript"）
3. 实现关联推荐（搜索"微服务"时推荐相关"分布式事务"文章）

通过3周的A/B测试，这套系统使开发者平均信息获取时间从25分钟缩短到8分钟，有效提升了技术调研效率。