这场二面有一个比较明显的特点:技术题数量不多,但更关注 AI 应用从 Demo 走向企业生产环境时,究竟需要解决哪些实际问题。 值得重点展开的有三道题:

  1. AI Coding 生成的应用,和真正投入企业生产的应用有什么区别?
  2. 知识库问答 Agent 的召回准确率和响应效率遇到瓶颈,应该如何优化?
  3. 使用 OCR / VLM 解析专利等复杂文档时,如何处理表格、非标准换行和结构信息丢失?

其中,第二道 RAG 优化题和第三道文档解析题最适合展开成完整的技术场景设计题。其他问题则围绕产品思维、求职动机、岗位理解和团队匹配进行整理。

康师傅 AI 应用开发工程师(二面)面经:生产级 AI 应用、RAG 优化与文档智能解析

面试方向:AI 应用开发 / Agent 工程化 / RAG / OCR / VLM

一、面试整体情况

本次面试主要考察以下几个方面:

模块面试问题考察重点
AI 工程化AI Coding 开发的应用投入生产,需要考虑什么?工程质量、稳定性、权限、安全、可维护性
RAG知识库问答召回准确率和效率遇到瓶颈,如何优化?检索策略、混合召回、重排、Agent 路由、性能优化
文档智能解析OCR / VLM 如何处理表格、非标准换行?PDF 解析、版面分析、表格结构恢复、质量校验
产品思维如何理解 AI 技术岗位中的产品工作?需求分析、业务理解、技术方案转化
岗位认知如何理解企业 AI 应用开发岗位?业务落地、技术选型、跨部门协作
求职动机为什么选择这家公司?如何看待稳定性和发展?岗位匹配度、职业规划、求职动机
学习能力目前还存在哪些不足?如何跟进 AI 技术?自我认知、主动学习、技术广度

从面试过程来看,面试官没有过多考察基础语法,而是直接围绕 AI 应用开发中的实际问题展开。尤其关注候选人能否从业务需求出发,分析技术瓶颈,提出可以落地的解决方案。

二、核心技术场景题

1. AI Coding 开发的应用投入生产,与个人开发简单应用有什么区别?

重点问题

面试问题:

现在有很多 AI Coding 工具,可以通过自然语言快速构建应用。你怎么看待使用 AI Coding 工具构建的应用投入生产环境?它和个人开发一些简单应用有什么区别?需要额外考虑哪些问题?

这道题表面上是在问 AI Coding,实际上考察的是对企业级软件工程的理解。

一个个人 Demo 可能只需要实现基本功能,能够运行、能够展示效果即可。但企业生产环境中的应用,需要长期运行、面对真实用户、接入内部业务系统,还要承担数据安全和业务连续性方面的责任。

因此,可以先用一句话概括:

个人 Demo 追求的是快速跑通,生产级应用追求的是稳定、可靠、可维护,并且能够适应真实业务变化。

1.1 数据可靠性:不能只考虑理想输入

个人开发时,输入数据通常比较规范,开发者也能够控制输入内容。

但企业环境中的数据往往比较复杂:

  • 数据字段可能缺失。
  • 用户输入可能不符合预期。
  • 文档格式可能不统一。
  • 不同业务系统的数据结构可能不同。
  • 大模型输出可能存在格式错误或内容幻觉。

例如,一个基于大模型的文档抽取系统,Demo 阶段可能只处理格式统一的 PDF 文件。

真正投入生产后,可能同时遇到扫描件、加密 PDF、表格、图片、乱码以及复杂排版。

因此,需要增加:

  • 输入参数校验。
  • 文件格式检测。
  • 异常捕获与错误分类。
  • 模型输出结构校验。
  • 低置信度结果处理。
  • 人工审核与失败兜底。

尤其不能默认大模型一定能够返回符合要求的 JSON。应该使用结构化输出约束,并在模型返回后再次进行 Schema 校验。

1.2 稳定性与并发:不能只考虑单用户体验

个人 Demo 通常只有少量用户访问,即使某个请求执行十几秒,也不一定会产生明显问题。

但生产环境可能同时有多个业务部门调用 Agent。

这时需要考虑:

  • API 请求限流。
  • 模型调用超时。
  • 请求重试与退避。
  • Redis 缓存。
  • 异步任务调度。
  • 线程池隔离。
  • 服务降级和熔断。

例如,多个用户同时上传文档进行解析,如果所有任务都直接占用同一个业务线程池,可能导致普通业务接口也无法正常响应。

可以将文档解析任务放入独立的异步任务队列,由后台 Worker 按照系统资源情况逐步处理。

1.3 企业业务适配:通用工具不等于企业解决方案

AI Coding 工具生成的通常是通用实现,但企业内部系统有大量特定业务约束。

例如:

  • ERP 等内部系统的接口适配。
  • 企业自身的业务规则。
  • 不同部门的数据权限。
  • 内部账号和身份认证。
  • 操作日志与审计。
  • 数据是否允许发送到外部模型服务。

因此,不能只关注 Agent 能否调用某个工具,还需要考虑工具调用是否经过权限校验、是否能够审计、是否符合企业的数据安全要求。

对于涉及敏感业务数据的应用,还需要考虑模型部署位置、数据脱敏、传输加密和数据保留策略。

1.4 可维护性:代码能够生成,不代表代码能够长期维护

AI Coding 可以快速生成大量代码,但随着业务规模增长,系统会不断出现新需求。

如果缺乏统一的代码规范和架构约束,容易出现:

  • 重复代码。
  • 模块之间耦合严重。
  • 接口定义不统一。
  • 异常处理方式不一致。
  • 日志缺失,出现问题难以排查。
  • 修改一个功能影响其他模块。

因此,生产级应用需要建立:

  • 清晰的模块边界。
  • 统一的接口规范。
  • 合理的设计模式。
  • 自动化测试。
  • 代码审查机制。
  • 日志、监控和链路追踪。
1.5 一个完整的回答框架
维度个人 Demo企业生产环境
数据理想数据、少量数据脏数据、异常数据、海量数据
稳定性能够运行即可超时、重试、降级、容错
并发少量用户多用户、高并发
安全基本访问控制身份认证、权限、审计、数据隔离
业务通用功能ERP 等内部系统及业务规则
维护快速开发模块化、测试、监控、持续迭代

面试回答参考:

我认为最大的区别是目标不同。个人 Demo 更关注能不能快速实现功能,而企业生产环境更关注系统能不能长期稳定运行。

我会重点考虑四个方面:

  • 第一是数据可靠性,要处理异常输入、脏数据以及大模型输出不稳定的问题;
  • 第二是系统稳定性,要考虑并发、限流、超时、重试和降级;
  • 第三是业务适配与安全,需要对接企业内部系统,并做好权限控制、数据隔离和操作审计;
  • 第四是可维护性,需要保证代码结构、接口规范和日志监控能够支持后续业务迭代。

所以我认为 AI Coding 是提高开发效率的工具,但不能代替开发人员对架构、核心逻辑和交付质量的判断。

2. 知识库问答 Agent 的召回准确率和效率遇到瓶颈,应该如何优化?

本场最值得深入准备的 技术题

面试问题:

在 Agent 开发中,例如知识库问答场景,如果召回准确率和效率遇到瓶颈,应该从哪些方向进行优化?

这道题不能简单回答“换一个更好的 Embedding 模型”或者“增加 Top-K”。

因为 RAG 的最终效果不是由单一模型决定的,而是由数据处理、召回、重排、上下文组织、Agent 编排以及生成等多个环节共同决定。

建议按照三个层次展开:

  1. 数据与检索层: 解决召回是否准确。
  2. Agent 编排层: 解决是否需要检索、应该如何检索。
  3. 工程优化层: 解决整体响应速度和系统资源消耗。
2.1 首先明确 RAG 的完整流程

RAG(Retrieval-Augmented Generation,检索增强生成)主要包含两个阶段。

阶段一:离线知识库构建

原始文档
   |
   v
文档解析
   |
   v
文本清洗
   |
   v
Chunk 切分
   |
   v
Embedding 向量化
   |
   v
向量数据库 / 关键词索引

阶段二:在线问答

用户问题
   |
   v
问题理解与改写
   |
   v
知识检索
   |
   v
候选文档召回
   |
   v
Rerank 重排序
   |
   v
上下文构建
   |
   v
LLM 生成答案
   |
   v
结果校验
   |
   v
返回答案

理解这个流程非常重要。

因为当最终答案不准确时,问题可能出现在任意环节:

  • 文档解析时已经丢失信息。
  • Chunk 切分破坏了上下文。
  • Embedding 无法准确表达问题语义。
  • 召回阶段没有找到正确文档。
  • Rerank 将正确文档排到了后面。
  • 上下文过长,模型没有正确利用证据。
  • 最终生成阶段出现幻觉。

所以优化前应先定位问题,而不是直接修改 Prompt 或更换模型。

2.2 第一层:优化数据处理与检索策略

这一层主要解决召回准确率问题。

(1)优化 Chunk 切分策略

很多 RAG 系统会使用固定长度切片,例如每 500 个 Token 切分一次。

但固定长度切片存在一个问题:它不一定符合文档本身的语义结构。

例如:

专利标题:一种新型电池材料

技术问题:
该材料在高温环境下稳定性较差。

解决方案:
通过引入特定复合结构提高材料稳定性。

技术效果:
提高材料的耐高温性能。

如果按照固定长度切分,可能把“技术问题”和“解决方案”拆到不同 Chunk 中,导致检索到的信息不完整。

可以采用结构化切分:

  • 按标题和章节切分。
  • 按段落边界切分。
  • 对表格单独处理。
  • 对长文档保留父子层级关系。
  • 对相邻 Chunk 设置适当重叠。

对于结构复杂的文档,可以采用 Parent-Child Retrieval:

  • Child Chunk 用于精确检索。
  • Parent Chunk 用于补充上下文。

这样既可以提高检索粒度,又能避免上下文信息丢失。

(2)优化 Embedding 模型

Embedding 模型负责将文本转换成向量。

例如:

q→q∈Rd q \rightarrow \mathbf{q}\in \mathbb{R}^{d} q→q∈Rd

di→di∈Rd d_i \rightarrow \mathbf{d_i}\in \mathbb{R}^{d} di​→di​∈Rd

其中,qqq 是用户问题,did_idi​ 是候选文档。

通过余弦相似度计算两者的语义接近程度:

sim⁡(q,di)=q⋅di∣q∣∣di∣ \operatorname{sim}(q,d_i) = \frac{\mathbf q\cdot\mathbf d_i} {\\|\mathbf q\\|\\|\mathbf d_i\\|} sim(q,di​)=∣q∣∣di​∣q⋅di​​

然后按照相似度排序,选取 Top-K 文档。

如果召回效果不好,可以从以下方向优化:

  • 更换领域适配能力更好的 Embedding 模型。
  • 对专业术语、缩写和别名进行归一化。
  • 对用户问题进行 Query Rewrite。
  • 对复杂问题进行 Query Decomposition。
  • 根据实际业务数据构建评测集,必要时进行领域微调。

这里需要注意:Embedding 模型并不是越大越好,应该通过实际评测比较召回效果、推理延迟和部署成本。

(3)使用混合检索,而不是只依赖向量检索

纯向量检索擅长语义相似度,但在精确匹配方面可能存在不足。

例如:

查询型号为 ABC-2026 的产品对应的技术参数。

如果只使用向量检索,可能召回语义相似但型号不同的文档。

因此可以采用混合检索:

检索方式主要优势适用场景
向量检索语义理解自然语言表达、同义问题
BM25 / 关键词检索精确匹配型号、编号、专有名词
知识图谱检索实体关系约束多实体、多跳关系
元数据过滤缩小搜索范围部门、时间、文档类型

可以通过加权融合方式合并不同召回结果:

Score(d)=αS_vector(d)+βS_BM25(d)+γS_graph(d) Score(d)= \alpha S\_{\text{vector}}(d) +\beta S\_{\text{BM25}}(d) +\gamma S\_{\text{graph}}(d) Score(d)=αS_vector(d)+βS_BM25(d)+γS_graph(d)

其中权重需要通过实际数据集调优,并不应该直接采用固定比例。

如果不同检索结果的分数尺度差异较大,可以考虑使用 RRF(Reciprocal Rank Fusion)进行排序融合,而不是直接相加原始分数。

(4)增加 Rerank 重排序

混合检索可以提高候选文档覆盖率,但候选集不一定完全按照相关性排列。

因此可以增加 Rerank 模型进行二次排序。

流程:

用户问题
   |
   v
多路召回
   |
   v
Top 50 候选文档
   |
   v
Rerank 模型
   |
   v
Top 5 高相关文档
   |
   v
LLM 生成答案

Embedding 通常用于高效检索,Rerank 则进一步判断问题和候选文档之间的相关性。

需要注意的是,Rerank 会增加额外推理开销,因此不宜无条件对全部文档执行重排序。通常先通过召回缩小候选集,再对有限候选进行精排。

2.3 第二层:优化 Agent 编排,减少无效检索

这一层是普通 RAG 与 Agent 化 RAG 比较重要的区别。

并不是所有问题都需要执行完整的检索与推理流程。

例如:

用户提问:

公司办公时间是什么?

如果知识库中存在明确的 FAQ,可以直接从缓存或 FAQ 索引中返回答案。

但如果用户提问:

某项业务规则在不同地区的执行方式有什么区别?

这可能需要跨文档检索、信息整合和多步推理。

因此可以在 RAG 前面增加一个问题路由模块。

(1)增加 Query Router

先判断用户问题属于哪种类型:

问题类型推荐执行路径
高频简单 FAQ缓存 / FAQ 直接查询
普通知识问题标准 RAG
专业术语问题关键词 + 向量混合检索
多文档比较多路召回 + Rerank
多跳复杂问题Query Decomposition + Agent
知识库无法回答明确告知证据不足

这样可以避免所有问题都调用复杂 Agent,降低平均响应时间和模型调用成本。

路由器可以由规则、轻量分类模型或 LLM 实现。对于高频、明确的问题,优先采用规则或轻量模型;只有低置信度和复杂问题才交给大模型判断。

(2)复杂问题采用 Query Decomposition

例如:

比较 A 产品和 B 产品的技术特点,并说明它们分别适合什么应用场景。

可以拆成:

  1. 检索 A 产品的技术特点。
  2. 检索 B 产品的技术特点。
  3. 检索 A 产品的应用场景。
  4. 检索 B 产品的应用场景。
  5. 整合信息并生成对比结果。

这样可以避免将一个复杂问题直接交给单次向量检索,导致召回不完整。

(3)增加结果校验和二次检索

检索到文档不代表一定能够回答问题。

可以在生成前后加入验证机制:

  • 检索结果是否覆盖问题中的关键实体?
  • 是否包含回答所需的核心字段?
  • 不同文档之间是否存在冲突?
  • 证据是否足以支持最终结论?

如果证据不足,可以触发补充检索或问题改写。

但需要设置最大检索次数和 Token 预算,避免 Agent 无限循环。

2.4 第三层:工程优化,降低响应延迟

前面主要解决准确率问题,这一层主要解决效率问题。

(1)缓存热点问题

对于高频问题,可以将问题向量、检索结果或最终答案缓存到 Redis。

缓存设计需要考虑:

  • 缓存 Key 如何生成。
  • 相似问题是否可以复用缓存。
  • 知识库更新后如何失效。
  • 用户权限不同是否允许共享缓存。

特别注意:企业知识库存在权限隔离时,不能只根据问题文本生成缓存 Key,否则可能把某个用户有权限看到的答案返回给无权限用户。

(2)并行检索

向量检索、关键词检索、知识图谱查询如果相互独立,可以并行执行。

                 用户问题
                    |
                    v
                Query Router
                    |
          +---------+---------+
          |         |         |
          v         v         v
       向量检索   BM25检索   图谱查询
          |         |         |
          +---------+---------+
                    |
                    v
                 结果融合
                    |
                    v
                  Rerank
                    |
                    v
                 LLM生成

相比串行执行,并行检索可以减少整体等待时间,但要考虑线程池、连接池和超时控制。

(3)减少不必要的模型调用

例如:

  • 简单问题不调用复杂 Agent。
  • 对固定格式问题采用规则处理。
  • 对低复杂度任务使用轻量模型。
  • 只有复杂问题才调用高性能模型。
  • 对相同问题复用已有检索结果。

(4)控制上下文长度

检索到的文档越多,并不意味着回答越准确。

过长的上下文可能带来:

  • Token 消耗增加。
  • 模型推理时间增加。
  • 无关信息干扰。
  • 关键证据被淹没。

因此,需要通过 Rerank、去重、上下文压缩和证据筛选,控制最终输入模型的内容规模。

2.5 第四步:如何判断优化是否有效?

不能只凭感觉判断优化效果,需要建立评测体系。

指标含义主要评价对象
Recall@K正确文档是否进入前 K 个候选召回覆盖率
Precision@K前 K 个候选中相关文档的比例召回准确性
MRR第一个相关文档出现的位置排名质量
NDCG@K考虑相关性等级的排序质量重排效果
Answer Accuracy最终答案是否正确生成质量
P95 Latency95% 请求的响应时间上限系统效率
Token Cost单次请求消耗的 Token调用成本

例如,优化前:

  • Recall@5 = 0.70
  • P95 延迟 = 2 秒

优化后:

  • Recall@5 = 0.85
  • P95 延迟 = 5 秒

虽然召回覆盖率提高了,但响应时间也明显增加。因此不能简单认为优化成功,还需要根据业务要求权衡准确率、延迟和成本。

面试回答参考:

我会先从数据检索、Agent 编排和工程性能三个层面分析。

第一,数据检索层,重点优化 Chunk 切分、Embedding、混合检索和 Rerank。比如专业领域中存在大量型号和专有名词,单纯向量检索可能不够准确,可以结合 BM25 和知识图谱进行混合召回。

第二,Agent 编排层,增加问题路由。简单 FAQ 直接走缓存或固定检索,复杂问题再触发 Query Decomposition 和多 Agent 协作,同时增加结果验证,判断当前召回的证据是否足以回答问题。

第三,工程层,可以通过 Redis 缓存、并行检索、减少不必要的模型调用以及上下文压缩降低响应时间。

最后还需要建立评测集,持续监控 Recall@K、NDCG、最终答案准确率以及 P95 延迟,避免只提升召回准确率,却让整个系统变得更慢。

3. OCR / VLM 解析复杂文档时,如何处理表格和非标准换行?

重点问题 · 面试官明确认可的技术方案

面试问题:

使用 OCR 和 VLM 提取专利等文献内容时,如果文档中包含表格、化学方程式以及非标准换行,应该如何构建处理方案?传统 OCR 往往难以保留完整格式,非标准换行也可能导致文本之间失去语义关联,应该怎么处理?

这道题非常典型,考察的是文档智能解析(Document Intelligence)能力。

它并不是简单地调用 OCR 接口,把 PDF 转成文本就结束了。真正困难的地方在于:如何在提取文本的同时,尽可能保留原始文档的结构、布局和语义关系。

例如,原始文档中有一个表格:

材料温度性能
A 材料200℃稳定
B 材料300℃稳定

如果 OCR 只提取出一串文本:

材料 温度 性能 A材料 200℃ 稳定 B材料 300℃ 稳定

虽然文字基本识别出来了,但原始的行列关系已经丢失。

后续大模型可能无法准确判断哪个温度对应哪个材料,最终导致实体属性和关系抽取错误。

因此,建议将整体方案分成三个阶段:

结构还原 → 语义补全 → 质量校验。

3.1 第一步:文档预处理与版面分析

首先需要判断输入文档属于哪种类型。

常见情况包括:

  • 文本型 PDF:本身包含可提取的文本层。
  • 扫描型 PDF:本质上是图片,需要 OCR。
  • 混合型 PDF:部分页面有文本层,部分页面是扫描图像。
  • 复杂排版文档:包含表格、图片、公式、多栏布局等。

因此,不应该所有 PDF 都直接走 OCR。

可以先进行文档类型识别:

PDF 输入
   |
   v
检查文本层
   |
   +---- 有有效文本层 ----> 直接提取文本
   |
   +---- 无有效文本层 ----> OCR 识别
   |
   v
页面图像与文本统一处理
   |
   v
版面分析
   |
   v
识别标题、段落、表格、图片、公式

接下来使用具备版面分析能力的 OCR 模型或文档解析模型,对页面中的不同区域进行分类。

例如:

页面元素处理方式
标题保留层级关系
普通段落文本提取与段落重组
表格表格检测、行列恢复
图片图像区域识别
化学方程式公式区域识别与专项解析
页眉页脚识别并过滤或单独保存

这里有一个重要设计:不要在最开始就把所有内容合并成纯文本。

应该先构建一个带有结构信息的中间表示(Intermediate Representation)。

例如:

{
  "page": 1,
  "elements": [
    {
      "type": "title",
      "text": "一种新型复合材料"
    },
    {
      "type": "paragraph",
      "text": "本发明涉及一种复合材料..."
    },
    {
      "type": "table",
      "table_id": "table_1",
      "content": []
    },
    {
      "type": "formula",
      "formula_id": "formula_1"
    }
  ]
}

实际系统中还可以保留:

  • 页面编号。
  • 元素坐标(Bounding Box)。
  • 阅读顺序。
  • 识别置信度。
  • 原始图像区域。
  • 文档章节路径。

这些信息能够帮助后续模型理解内容来自哪里,也方便出现问题时定位到原始页面。

3.2 第二步:处理非标准换行,恢复文本语义

这是面试官特别关注的一个问题。

传统 OCR 通常会根据图像中的文字区域输出识别结果,但它不一定理解一段文字在语义上是否完整。

例如,原文:

本发明通过引入一种新型复合
结构,提高材料在高温环境下
的稳定性。

OCR 可能输出:

本发明通过引入一种新型复合
结构,提高材料在高温环境下
的稳定性。

如果直接按照换行符切分,就会得到三个不完整的片段。

后续模型可能无法正确理解它们之间的关系。

解决这个问题,需要结合版面信息和语义信息。

方法一:基于版面规则进行拼接

可以根据文本块的位置判断是否属于同一个段落。

例如:

  • 两个文本块是否处于相同的列。
  • 前一个文本块是否接近页面右边界。
  • 后一个文本块是否紧接前一个文本块。
  • 两个文本块之间的垂直距离是否较小。
  • 是否存在明显的段落缩进或标题边界。

如果两个文本块在空间上连续,且没有明显的段落分隔,就可以考虑合并。

方法二:基于语言和语义进行判断

在版面规则之后,还可以结合语言模型或规则判断句子是否完整。

例如:

原始片段 A:
本发明通过引入一种新型复合

原始片段 B:
结构,提高材料在高温环境下的稳定性。

合并后:

本发明通过引入一种新型复合结构,
提高材料在高温环境下的稳定性。

可以从以下几个角度判断:

  • 前一个片段是否以未完成的短语结尾。
  • 后一个片段是否可以自然承接前一个片段。
  • 合并后是否符合专利文献的常见句式。
  • 是否跨越了标题、章节或表格边界。

对于专利文献,还可以利用固定章节结构辅助判断,例如摘要、权利要求书、背景技术、发明内容和具体实施方式。

但不能简单地删除所有换行符,因为换行有时代表真正的段落边界、列表结构或表格分隔。

因此,更合理的做法是:先利用版面结构判断可拼接范围,再利用语义判断是否应该拼接。

3.3 第三步:表格解析,恢复行列结构

表格是文档解析中比较困难的部分。

原因在于表格不仅包含文本,还包含二维空间结构。

例如:

原始表格结构

材料名称制备温度性能
A 材料200℃稳定
B 材料300℃稳定

表格解析的目标不仅是识别单元格文字,还要恢复表头、行列、合并单元格及其对应关系。

可以采用以下处理流程:

表格区域检测
     |
     v
表格结构识别
     |
     v
行列与单元格定位
     |
     v
OCR 识别单元格内容
     |
     v
恢复表头与单元格对应关系
     |
     v
转换为结构化数据
     |
     v
质量校验

第一,表格检测。

先确定表格在页面中的位置,获得表格区域的 Bounding Box。

第二,结构识别。

识别表格的行、列、单元格以及合并单元格关系。

第三,单元格内容识别。

对每个单元格单独进行 OCR,避免整张表格被识别成无序文本。

第四,结构化转换。

可以转换为 HTML、Markdown 表格或 JSON。

例如:

{
  "headers": ["材料名称", "制备温度", "性能"],
  "rows": [
    ["A 材料", "200℃", "稳定"],
    ["B 材料", "300℃", "稳定"]
  ]
}

如果表格比较复杂,还可以将每一行转换成键值对:

{
  "材料名称": "A 材料",
  "制备温度": "200℃",
  "性能": "稳定"
}

这样后续的大模型就不需要再从一串文本中猜测行列关系,而是直接基于结构化数据进行实体、属性和关系抽取。

3.4 第四步:VLM 与传统 OCR 如何配合?

这里需要明确 OCR 和 VLM 的职责区别。

技术主要职责优势
OCR文字识别文字识别稳定、处理成本相对可控
版面分析模型区域定位和结构分类能够保留文档布局
VLM理解图像内容和复杂结构能处理复杂版面、图文关联
LLM语义理解与结构化抽取能理解上下文和复杂关系

不建议直接把所有页面都交给高成本 VLM 处理。

更合理的是分层处理:

  1. 先用 PDF 文本提取或 OCR 完成基础内容识别。
  2. 使用版面分析模型识别复杂区域。
  3. 对普通文本采用规则和 OCR 处理。
  4. 对表格、公式、复杂图文关系等区域,再使用 VLM 辅助理解。
  5. 将结果统一转换成结构化数据。

也就是说,VLM 不一定需要替代 OCR,而是可以补足传统 OCR 对复杂结构理解不足的问题。

3.5 第五步:如何保证抽取结果的质量?

即使使用了 OCR、VLM 和 LLM,也不能认为结果一定正确。

特别是在大批量文档处理场景中,如果错误结果直接进入知识图谱,就可能进一步污染后续检索和问答。

因此需要增加质量校验。

可以分为四层:

第一层:结构完整性校验

例如:

  • 表格是否存在表头。
  • 每一行的列数是否一致。
  • 是否存在大量空单元格。
  • 是否存在明显的异常字符。
  • 表格边界是否完整。

第二层:视觉一致性校验

将解析结果重新渲染成表格,再与原始图像区域进行对比。

可以通过图像相似度或结构相似度判断解析结果是否存在明显偏差。

但需要注意,视觉相似度只能作为辅助信号,不能直接等同于语义正确率。

第三层:置信度与异常检测

对 OCR、VLM 和后续结构化抽取结果设置置信度或质量评分。

对于低置信度结果,可以输出 note 等标记,明确指出需要复核的区域。

第四层:人工复核与反馈迭代

对于低置信度和高风险文档,交给人工审核。

人工确认后的结果可以用于:

  • 优化解析规则。
  • 补充 Few-shot 示例。
  • 调整模型提示词。
  • 改进版面分析策略。
  • 构建专项评测集。

最终形成:

文档输入
   |
   v
OCR / VLM 解析
   |
   v
结构化抽取
   |
   v
规则校验
   |
   v
视觉一致性检查
   |
   +---- 通过 ----> 写入结构化数据
   |
   +---- 未通过
          |
          v
      低置信度标记
          |
          v
      人工复核 / 重新解析
          |
          v
       反馈迭代
3.6 这道题的完整回答思路

可以把回答浓缩为:

先恢复文档结构,再解决语义断裂,最后建立质量校验闭环。

具体来说:

  • 对文本型 PDF,优先直接提取文本;对扫描件,使用 OCR。
  • 通过版面分析区分标题、段落、表格和公式,并保留坐标和阅读顺序。
  • 对非标准换行,结合文本块位置、段落规则和语义连续性进行拼接。
  • 对表格,先定位表格区域,再识别行列和单元格,最后转换成结构化 JSON。
  • 对复杂表格、公式和图文关系,使用 VLM 辅助处理。
  • 最后通过结构完整性、视觉一致性和置信度检查进行质量控制,低置信度结果交给人工复核。

这道题的关键不是单纯追求 OCR 识别率,而是保证从原始文档到结构化数据的整个转换过程不丢失关键语义。

三、业务与产品思维相关问题

1. 如何理解 AI 技术岗位中的产品工作?

面试问题:

除了技术本身,如何理解人工智能相关岗位中的产品工作?技术开发人员是否也需要承担部分产品职责?

这道题主要考察候选人是否只关注技术实现,还是能够站在业务角度理解问题。

在企业 AI 应用开发中,业务方提出的需求往往比较抽象。

例如:

我们希望建设一个知识库问答系统。

这句话并不能直接指导开发。

还需要进一步明确:

  • 谁会使用这个系统?
  • 用户最常查询什么内容?
  • 需要覆盖哪些业务文档?
  • 用户希望得到什么形式的答案?
  • 对响应速度有什么要求?
  • 如果知识库没有答案,应该如何处理?
  • 如何衡量系统上线后的效果?

因此,产品思维的核心是:

把业务需求转化为明确的功能、技术方案和可衡量的业务指标。

可以分为三个阶段。

第一,理解业务场景。

不能只听用户说“需要一个 AI 系统”,还需要了解实际工作流程和痛点。

例如,业务部门希望通过知识库快速查询专利信息,那么就需要进一步确认用户到底是想查询专利原文、技术发展趋势,还是希望了解某项技术解决了什么问题。

第二,将业务需求转化为技术指标。

例如:

业务需求对应技术指标
查询结果准确Answer Accuracy、Recall@K
查询速度快P95 Latency
支持复杂问题多跳检索能力
回答有依据引用覆盖率、证据可追溯性
不确定时不乱答拒答准确率、低置信度识别

第三,建立需求迭代闭环。

业务调研
   |
   v
需求分析
   |
   v
指标定义
   |
   v
技术方案
   |
   v
开发测试
   |
   v
上线运行
   |
   v
用户反馈
   |
   v
持续迭代

对于 AI 应用开发人员来说,具备产品思维并不意味着要取代产品经理,而是需要能够理解业务需求,并将其转化为可执行的开发任务。

2. 如何理解企业 AI 应用开发岗位?

从面试官介绍的团队情况来看,该岗位并不是简单地调用大模型 API 或使用可视化平台搭建 Agent。

岗位更关注企业内部业务场景的实际落地。

主要包括:

  • 将大模型与传统业务系统结合。
  • 使用 Agent 处理复杂业务流程。
  • 对接 ERP 和内部管理系统。
  • 根据业务场景选择 RPA、传统模型或大模型。
  • 建设满足企业权限、安全和审计要求的应用平台。

这里有一个值得注意的技术观点:

企业 AI 应用不一定所有环节都需要大模型。

例如:

业务任务更合适的技术方案
固定格式字段提取正则表达式、规则、小模型
文档分类传统分类模型或轻量模型
复杂语义理解大语言模型
固定业务流程执行Workflow / 规则引擎
跨系统自动化操作API 工具调用、RPA
多步骤动态任务Agent

企业应用需要根据任务的确定性、复杂度、成本和风险选择技术,而不是为了使用大模型而使用大模型。

四、求职动机与岗位匹配问题

1. 为什么选择这家公司?更看重 AI 领域的成就还是行业稳定性?

面试问题:

在当前的市场环境下,选择工作机会时,是更看重 AI 领域的发展和成就,还是更看重行业稳定性?

这类问题通常不是简单地让候选人二选一,而是在考察求职动机是否清晰,以及对岗位是否有长期规划。

回答时不建议只说“我既看重发展,也看重稳定”,这样容易显得没有明确立场。

可以按照以下逻辑组织:

  1. 明确自己选择岗位的核心标准。
  2. 说明为什么关注企业 AI 应用落地。
  3. 结合公司真实业务场景说明匹配度。
  4. 表达希望在具体业务中持续积累的意愿。

回答参考:

我选择工作时更看重技术方向和实际业务场景是否匹配,而不是单纯根据行业是否稳定来决定。

我比较关注 AI 技术在企业内部的实际应用,例如知识库问答、文档智能处理、业务流程自动化等。这些场景不仅需要大模型能力,还涉及数据处理、系统集成和工程化落地。

我希望进入一个有真实业务需求、能够持续推进 AI 应用的团队,在解决实际问题的过程中积累工程经验,而不是只做一些展示性质的 Demo。

2. 如果同一个问题在面试开头和结尾被再次询问,应该如何回答?

面试中如果面试官在结尾再次询问求职动机,不建议把开场的长答案重复一遍。

更好的方式是结合面试过程中了解到的新信息进行回答。

例如:

刚才听完您对团队和岗位的介绍,我对这个岗位的理解更加清晰了。它不仅需要开发 Agent 应用,还需要解决内部系统对接、权限管理和生产级稳定性等问题。这些正是我希望深入积累的方向,所以相比面试开始前,我现在对岗位的匹配度有了更明确的判断。

这种回答既能体现认真倾听,也能让第二次回答有新的信息。

3. 如何看待提前实习和长期到岗要求?

这属于事务性问题,回答时最重要的是明确。

建议按照:

  • 当前是否可以实习。
  • 最早可以开始的时间。
  • 学校是否还有必须完成的安排。
  • 是否能够满足后续长期坐班要求。

回答时不要使用“应该可以”“到时候再看”等模糊表达。如果时间安排尚未确定,也应明确说明需要确认的具体事项。

五、反问环节与面试官对岗位的介绍

1. 团队和岗位的实际情况

面试后半段,面试官介绍了团队的组织情况、技术方向以及岗位未来的工作内容。

根据面试交流,可以归纳为以下几点:

维度主要信息
团队背景IT 部门负责生产、销售、财务、人资、物流等领域的信息化系统
AI 发展方向将大模型与传统决策模型、RPA 等技术结合
团队建设新成立 AI 智能应用研究团队
技术平台更倾向于建设符合企业内部需求的 Agent 开发平台
自建原因需要对接 ERP 和外部业务系统,同时满足权限、安全及业务逻辑要求
岗位定位前期参与实际项目落地,逐步承担更完整的需求和方案设计工作
成长方向从辅助开发逐渐向业务需求分析、产品设计和项目落地延伸

其中,比较值得关注的是企业为什么不直接使用 Dify、n8n 等现成的 Agent 平台。

这并不是说这些平台不好,而是企业级应用存在一些特殊要求:

  • 内部业务系统接口需要定制。
  • 不同部门具有不同的数据访问权限。
  • Agent 工具调用需要符合企业内部管理规范。
  • 部分数据不能随意发送到外部服务。
  • 复杂业务流程需要与现有系统深度集成。
  • 需要满足审计、监控和长期维护要求。

因此,企业可能会采用现有 Agent 框架作为基础,再开发自己的工具链、权限体系、工作流管理和业务适配模块。

2. 面试官对校招生的能力要求

面试官在交流中明确表达了几个期待:

第一,不能过度依赖 AI Coding。

AI 工具能够提高开发效率,但不能代替开发人员理解底层原理和解决复杂问题。

第二,既要有技术深度,也要持续跟进新技术。

AI 技术发展速度很快,不能长期停留在自己熟悉的研究方向,还需要主动了解新的模型、Agent 框架和工程实践。

第三,需要具备垂直方向的专业能力。

对于研究生而言,除了掌握通用开发能力,还需要在某个技术方向形成一定深度。

第四,重视真实业务落地。

不仅要能够开发功能,还需要理解业务流程、分析需求、处理异常,并与产品、测试和业务人员协作。

面试官还提到一个很值得记住的观点:

AI 工具能够帮助开发人员达到基础水平,但企业真正需要的是能够独立解决复杂问题、交付高质量系统的能力。

这里的核心并不是排斥 AI Coding,而是要求开发人员既能使用工具提高效率,也具备独立判断和处理问题的能力。

3. 面试中可以怎样反问?

相比于只问“团队需要什么样的人”,可以提出更具体的问题。

例如:

关于业务场景:

目前团队优先推进的 AI 应用场景主要集中在哪些业务领域?是知识库问答、文档智能解析,还是业务流程自动化?

关于技术架构:

团队目前是基于现有 Agent 框架进行二次开发,还是主要采用自研方式构建工具链和执行框架?

关于岗位职责:

对于刚入职的开发人员,前期主要参与已有项目的功能开发,还是也会参与业务需求分析和技术方案设计?

关于成长路径:

随着业务项目逐渐成熟,岗位后续是否会有机会独立负责某个业务场景,从需求分析一直参与到上线落地?

这些问题能够帮助判断岗位究竟是偏纯开发、AI 应用集成,还是包含一定的产品和方案设计职责。

六、面试结束时的主动求反馈:如何处理面试官指出的不足?

这部分虽然不是传统技术题,但非常值得整理。

面试结束时,可以主动询问面试官:

从您对这个岗位的要求来看,您觉得我目前还有哪些能力需要补充?如果后续有机会加入团队,您认为我最应该优先提升哪方面?

主动求反馈本身是一个不错的沟通方式,但更重要的是如何接住反馈。

如果面试官指出技术广度不足、对新技术跟进不够及时,不建议只回答“我会继续努力学习”。

更好的回答分为四步:

  1. 先接受反馈。 不急于辩解,明确自己理解对方指出的问题。
  2. 解释已有的学习方式。 通过实际例子说明自己如何主动学习、验证新技术。
  3. 给出可执行的提升计划。 明确准备学习什么、如何实践。
  4. 形成可验证的结果。 用代码、Demo、技术总结或实际项目证明学习效果。

例如:

这个反馈很有价值。我确实需要进一步拓宽技术视野,尤其是企业级 Agent 平台、传统自动化技术与大模型结合,以及生产环境中的工程实践。

我准备从两个方向补充:一方面,系统学习主流 Agent 开发框架,自己实现一个包含工具调用、权限控制和异常处理的完整应用;另一方面,围绕文档解析或知识库问答场景,做一次从需求分析、技术选型到部署验证的完整实践。

我认为技术学习不能只停留在看文档和了解概念,更重要的是通过实际开发验证技术方案,形成可以复用的经验。

这里需要注意:不要为了回应面试官而承诺无法完成的事情。最好提出具体、可执行、能够展示成果的学习计划。

七、整场面试的重点复习清单

技术方向重点知识
AI Coding 工程化代码审查、异常处理、测试、权限、审计、可维护性
RAGChunk 切分、Embedding、BM25、混合检索、Rerank
AgentQuery Router、Query Rewrite、Query Decomposition、工具调用
RAG 评估Recall@K、Precision@K、MRR、NDCG、Answer Accuracy
性能优化Redis 缓存、并行检索、上下文压缩、模型路由
OCR文本识别、版面分析、Bounding Box、阅读顺序
VLM图文理解、表格识别、复杂版面解析
文档结构恢复表格行列识别、非标准换行、章节结构、公式处理
数据质量Schema 校验、置信度、视觉一致性、人工复核
企业 AI 平台ERP 集成、RPA、权限管理、数据安全、操作审计
产品思维需求分析、业务指标、用户反馈、持续迭代

八、面试复盘:这场二面真正考察的是什么?

结合整场交流,可以归纳出三个核心方向。

第一,AI 应用开发不能停留在模型调用层面。

面试官关注的不只是能否使用大模型、RAG 或 Agent 框架,而是能否将这些能力真正放进企业的业务系统。

一个简单的知识库问答 Demo,可能只需要完成文档上传、向量检索和答案生成。但生产级系统还需要解决权限管理、数据隔离、异常处理、性能优化、监控和持续迭代等问题。

第二,技术方案需要从实际瓶颈出发。

RAG 召回准确率下降,不一定是 Embedding 模型的问题,也可能是文档解析、Chunk 切分、检索策略或 Rerank 导致的。

文档抽取结果不准确,也不一定是 OCR 模型能力不足,还可能是版面结构丢失、表格关系错误或非标准换行造成的。

因此,回答技术问题时,应该先分析完整链路,再定位具体瓶颈,最后提出针对性的优化方案。

第三,企业更看重技术深度、学习能力与业务落地能力的结合。

既要理解模型和 Agent 的底层原理,也要能够独立开发、调试和维护系统。

AI 工具可以降低开发门槛,但真正复杂的工作仍然需要开发人员自己解决,包括数据质量、业务适配、权限安全、性能瓶颈和系统可靠性。

Logo

更多推荐