前言

在为制造业企业部署售前数字员工的过程中，语核科技工程团队遇到了一个高频挑战：客户的技术需求文件格式极其复杂。

典型场景：客户发来一份200页的设备采购需求文件，其中包含：

• 中英文混排的技术参数表格

• 嵌套在PDF内的CAD图纸截图

• 手写标注的批注和修改说明

• 跨页的多级结构化表格（表头在第3页，数据在第4-6页）

• 不同供应商格式混拼的规格清单

传统方案（基于规则的文档解析或通用OCR）在这类场景下经常出现结构还原不完整、跨页信息断裂和关键字段遗漏的问题。一旦前置解析出错，后续的要素提取、参数匹配、报价生成全链路都会受到影响，很难满足生产环境对稳定性和准确性的要求。

本文将介绍语核科技在生产环境中验证的多模态文档解析Pipeline设计方案，重点拆解它如何提升复杂制造业需求文档的可读性、结构化程度和下游可用性。

一、核心挑战分析

1.1 制造业文档的特殊性

制造业技术文档有别于通用商业文档的三大特征：

空间语义强：表格中"上下相邻"的单元格可能有层级关系，"左右相邻"可能是单位与数值的配对。人类阅读时通过视觉推理理解这些关系，但传统基于坐标的解析方案无法识别这种隐式结构。

专业术语密集：PN532（芯片型号）、IP67（防护等级）、Ra0.8（表面粗糙度）——这些专业代码对通用OCR来说只是字符序列，但在制造业语境中有精确含义，解析错一个字符就会导致参数匹配失败。

跨模态信息融合：需求文件中的关键参数可能同时出现在文字说明、表格数据和图纸标注中，三处描述互相补充但可能存在矛盾（图纸标注了最新修订，但文字说明未更新）。完整的参数提取需要跨模态信息融合和冲突消解。

1.2 传统方案的失效边界

# 传统规则解析方案的典型问题示例
def legacy_extract_params(pdf_path):
    """传统方案：基于坐标和规则提取参数"""
    raw_text = pdfplumber.open(pdf_path).pages[0].extract_text()
    
    # 问题1：跨页表格被截断，extract_text()按页提取，
    # 第3页的表头和第4页的数据无法关联
    
    # 问题2：旋转文字、竖排标注无法正确识别
    
    # 问题3：嵌套表格解析后列对齐错乱
    # 原始：| 参数A | 值1 | 单位mm |
    # 解析：参数A 值1单位mm  (格式丢失)
    
    return raw_text  # 实际含大量噪声和结构破坏

在语核科技的早期工程验证中，这类主流PDF解析库在制造业技术文档上普遍暴露出三个问题：纯文字提取尚可，但表格结构还原稳定性不足，跨模态信息关联能力更弱。也正因为如此，单一解析库往往难以直接支撑售前报价、参数比对和需求拆解这类生产场景。

二、多模态解析Pipeline设计

2.1 整体架构

输入文档（PDF/Word/图片）
         │
         ▼
┌─────────────────────┐
│   阶段1：版面分析    │  ← 多模态视觉模型
│   - 区域类型分类     │     识别文字/表格/图表/
│   - 阅读顺序重建     │     图片/混合区域
│   - 跨页元素关联     │
└──────────┬──────────┘
           │
           ▼
┌─────────────────────┐
│   阶段2：要素抽取    │  ← 分类型处理器
│   - 文字内容提取     │     文字OCR / 表格解析器 /
│   - 表格结构还原     │     图表理解模型
│   - 图纸标注识别     │
└──────────┬──────────┘
           │
           ▼
┌─────────────────────┐
│   阶段3：参数标准化  │  ← 领域LLM + 规则引擎
│   - 单位归一化       │     将"1000rpm"/"1k转/分"
│   - 型号规范化       │     统一为标准表示
│   - 冲突消解         │
└──────────┬──────────┘
           │
           ▼
┌─────────────────────┐
│   阶段4：结构化输出  │  ← Schema验证
│   - 参数JSON生成     │     按业务需求输出
│   - 置信度标注       │     规范化数据结构
│   - 缺失项标记       │
└─────────────────────┘

2.2 阶段1：版面分析

版面分析是整个Pipeline的基础，核心目标是将非结构化的文档页面转化为带语义标注的区域集合。

from dataclasses import dataclass
from typing import List, Tuple
from enum import Enum

class RegionType(Enum):
    TEXT = "text"
    TABLE = "table"
    FIGURE = "figure"      # 图纸/图表
    ANNOTATION = "annotation"  # 批注/标注
    MIXED = "mixed"        # 混合区域

@dataclass
class DocumentRegion:
    region_type: RegionType
    bbox: Tuple[float, float, float, float]  # (x1, y1, x2, y2)
    page_num: int
    reading_order: int
    continuation_of: int = None  # 跨页续表的关联ID
    confidence: float = 1.0

class LayoutAnalyzer:
    def __init__(self, vision_model):
        self.vision_model = vision_model
    
    def analyze_page(self, page_image) -> List[DocumentRegion]:
        """
        使用多模态视觉模型分析页面版面
        核心：不依赖坐标规则，而是让模型理解语义布局
        """
        prompt = """分析这个文档页面的版面结构。
        对每个内容区域，识别：
        1. 区域类型（文字段落/表格/图表图纸/批注）
        2. 区域边界坐标
        3. 阅读顺序（从1开始）
        4. 是否是上页某区域的延续（用于跨页表格）
        
        特别注意：
        - 跨列合并的表头
        - 竖排文字（如表格的行标题）
        - 嵌套在文字中的小表格
        - 图纸中的尺寸标注文字
        
        输出JSON格式。"""
        
        regions = self.vision_model.analyze(page_image, prompt)
        return self._merge_cross_page_tables(regions)
    
    def _merge_cross_page_tables(self, regions_by_page):
        """识别并关联跨页表格"""
        merged = []
        table_continuations = {}
        
        for page_regions in regions_by_page:
            for region in page_regions:
                if region.region_type == RegionType.TABLE:
                    # 检查是否是上页表格的延续
                    prev_table = self._find_matching_table_header(
                        region, table_continuations
                    )
                    if prev_table:
                        region.continuation_of = prev_table.reading_order
                merged.append(region)
        
        return merged

2.3 阶段2：表格结构还原（核心难点）

制造业文档中表格解析是准确率最低的环节，问题集中在三类：合并单元格、多级表头、不规则边框。

class ManufacturingTableParser:
    """
    针对制造业文档的专用表格解析器
    核心创新：使用LLM理解表格语义，而非依赖坐标规则
    """
    
    def parse_table_region(self, table_image, context: str = "") -> dict:
        """
        解析表格区域，输出结构化数据
        
        Args:
            table_image: 表格区域的截图
            context: 周围文字上下文（帮助理解表格含义）
        
        Returns:
            结构化的表格数据，包含层级关系
        """
        
        # Step 1: 让视觉模型描述表格结构
        structure_prompt = f"""
        分析这个制造业技术参数表格的结构。
        
        上下文信息：{context}
        
        请描述：
        1. 表头层级结构（是否有多级表头？）
        2. 合并单元格的位置和含义
        3. 每列的数据类型（参数名/数值/单位/备注）
        4. 空单元格的含义（是真正的空值，还是继承上方单元格的值？）
        
        对于每个有值的单元格，给出：行索引、列索引、内容、所属的最低层级表头
        """
        
        table_structure = self.vision_model.analyze(table_image, structure_prompt)
        
        # Step 2: 基于结构描述，提取参数键值对
        params = self._extract_param_pairs(table_structure)
        
        # Step 3: 处理合并单元格的继承关系
        params = self._resolve_merged_cells(params, table_structure)
        
        return {
            "structure": table_structure,
            "params": params,
            "confidence": self._calculate_confidence(table_structure)
        }
    
    def _extract_param_pairs(self, table_structure: dict) -> List[dict]:
        """从表格结构中提取参数键值对"""
        params = []
        
        for cell in table_structure.get("cells", []):
            if cell.get("is_value_cell"):
                param = {
                    "name": cell.get("column_header"),        # 参数名（来自列表头）
                    "sub_name": cell.get("sub_header"),       # 子参数名（多级表头）
                    "row_label": cell.get("row_label"),       # 行标签（如"电气参数"、"机械参数"）
                    "value": cell.get("content"),
                    "unit": cell.get("unit"),                 # 如果单位在独立列
                    "source_location": f"row{cell['row']}_col{cell['col']}"
                }
                params.append(param)
        
        return params

2.4 阶段3：参数标准化

从文档中提取的参数往往格式不统一，需要标准化处理才能用于下游的产品匹配。

class ParamNormalizer:
    """
    制造业参数标准化处理器
    处理单位转换、型号规范化、缩写展开等问题
    """
    
    # 单位标准化映射表（部分示例）
    UNIT_MAPPING = {
        "rpm": "r/min",
        "转/分": "r/min", 
        "转/分钟": "r/min",
        "kw": "kW",
        "千瓦": "kW",
        "mm": "mm",
        "毫米": "mm",
    }
    
    def normalize_param(self, param: dict) -> dict:
        """
        标准化单个参数
        
        核心处理：
        1. 单位归一化
        2. 数值范围解析（"100~200"→{"min": 100, "max": 200}）
        3. 条件参数解析（"≥90%（额定负载下）"→值+条件）
        """
        normalized = param.copy()
        
        # 1. 单位归一化
        if param.get("unit"):
            normalized["unit"] = self.UNIT_MAPPING.get(
                param["unit"].strip(), param["unit"]
            )
        
        # 2. 数值解析
        value_str = str(param.get("value", ""))
        normalized["parsed_value"] = self._parse_value(value_str)
        
        # 3. 对于复杂情况，用LLM辅助理解
        if self._is_complex_value(value_str):
            normalized["parsed_value"] = self._llm_parse_value(
                param_name=param.get("name"),
                value_str=value_str,
                context=param.get("context", "")
            )
        
        return normalized
    
    def _parse_value(self, value_str: str) -> dict:
        """解析数值，处理范围表示、约等于、条件描述等"""
        import re
        
        # 范围值：100~200、100-200、100至200
        range_pattern = r'(\d+\.?\d*)\s*[~\-至~～]\s*(\d+\.?\d*)'
        range_match = re.search(range_pattern, value_str)
        if range_match:
            return {
                "type": "range",
                "min": float(range_match.group(1)),
                "max": float(range_match.group(2))
            }
        
        # 单值：直接数字
        single_pattern = r'^[≥≤><=]?\s*(\d+\.?\d*)'
        single_match = re.match(single_pattern, value_str.strip())
        if single_match:
            operator = value_str[0] if value_str[0] in '≥≤><=  ' else '='
            return {
                "type": "single",
                "operator": operator.strip() or "=",
                "value": float(single_match.group(1))
            }
        
        # 无法解析的值，保留原始字符串
        return {"type": "raw", "value": value_str}
    
    def _llm_parse_value(self, param_name: str, value_str: str, context: str) -> dict:
        """使用LLM解析复杂参数值"""
        prompt = f"""
        在制造业技术文档中，参数"{param_name}"的值描述为："{value_str}"
        上下文：{context}
        
        请将这个值解析为结构化格式，包含：
        - 数值（或数值范围）
        - 单位
        - 条件说明（如有）
        - 是否为必须满足的硬性要求
        
        输出JSON。
        """
        return self.llm_client.generate_json(prompt)

2.5 阶段4：置信度分层与质量控制

对每个解析结果标注置信度，是把文档解析能力真正落到生产环境的关键工程机制。

class ParseConfidenceEvaluator:
    """评估解析结果的置信度，决定是否需要人工审核"""
    
    CONFIDENCE_THRESHOLDS = {
        "HIGH": 0.90,    # 自动通过，进入下游流程
        "MEDIUM": 0.75,  # 高亮显示，需要人工确认
        "LOW": 0.0       # 强制人工审核
    }
    
    def evaluate(self, parsed_result: dict) -> dict:
        """
        计算综合置信度分数
        
        评估维度：
        1. 视觉模型对版面分析的置信度
        2. 表格结构识别的完整性
        3. 参数值是否成功解析
        4. 关键必填字段是否都有值
        """
        scores = {
            "layout_confidence": parsed_result.get("layout_conf", 0),
            "table_structure_score": self._score_table_completeness(parsed_result),
            "param_parse_rate": self._calculate_parse_rate(parsed_result),
            "required_fields_score": self._check_required_fields(parsed_result)
        }
        
        # 加权综合评分
        weights = {
            "layout_confidence": 0.2,
            "table_structure_score": 0.3,
            "param_parse_rate": 0.3,
            "required_fields_score": 0.2
        }
        
        overall_score = sum(
            scores[k] * weights[k] for k in scores
        )
        
        # 确定置信度等级
        if overall_score >= self.CONFIDENCE_THRESHOLDS["HIGH"]:
            level = "HIGH"
        elif overall_score >= self.CONFIDENCE_THRESHOLDS["MEDIUM"]:
            level = "MEDIUM"
        else:
            level = "LOW"
        
        return {
            "score": overall_score,
            "level": level,
            "detail_scores": scores,
            "requires_human_review": level != "HIGH"
        }

三、生产环境观察

语核科技在制造业售前数字员工项目中，对上述Pipeline进行了持续验证和优化。

从工程实践看，这套多模态Pipeline相较于单一规则解析方案，主要带来了几类改进：

• 对跨页表格、混合格式文档的结构还原更稳定
• 对专业术语、型号、单位等关键信息的提取更完整
• 能把文字、表格、图纸中的信息放到同一套结构化输出里处理
• 通过置信度分层，把真正有疑问的结果筛出来交给人工复核，而不是全部走人工检查

这类改进的价值，不只是让单点解析效果更好，更重要的是让下游的参数匹配、报价生成和需求拆解有了更稳定的输入。

四、踩坑经验

踩坑1：温度参数设置对解析结果影响大

表格解析的Prompt调用LLM时，温度设置建议为0.05-0.1。更高的温度会导致同一份文档多次解析结果不一致，在A/B测试时无法稳定复现。

踩坑2：多模态模型在处理低分辨率图片时失效

部分旧版PDF扫描件分辨率低于150DPI，视觉模型准确率急剧下降。工程上的解决方案是在进入模型前先做超分辨率处理（推荐ESRGAN），将图像分辨率提升至300DPI以上。

踩坑3：专业术语的上下文依赖

同一个缩写在不同制造业子行业中含义不同（PCB在电子制造是印刷电路板，在建筑行业是聚氯联苯）。解决方案是在Prompt中注入行业上下文，并维护一个企业级的术语字典，优先于模型自身的领域知识。

五、小结

制造业技术文档的多模态解析是B2B Agent落地中的核心工程难题。本文介绍的四阶段Pipeline设计——版面分析→要素抽取→参数标准化→置信度分层——在实际生产环境中提升了复杂需求文档的结构化质量和下游可用性，为报价生成、参数匹配提供了更稳定的输入。

核心设计思想是：用模型的语义理解能力替代坐标规则，用置信度分层替代全量人工审核。这两个转变，是从"能用"到"可用于生产"的关键跨越。