AI 应用开发工程师(Agent 方向)【二面】
这场二面有一个比较明显的特点:技术题数量不多,但更关注 AI 应用从 Demo 走向企业生产环境时,究竟需要解决哪些实际问题。 值得重点展开的有三道题:
- AI Coding 生成的应用,和真正投入企业生产的应用有什么区别?
- 知识库问答 Agent 的召回准确率和响应效率遇到瓶颈,应该如何优化?
- 使用 OCR / VLM 解析专利等复杂文档时,如何处理表格、非标准换行和结构信息丢失?
其中,第二道 RAG 优化题和第三道文档解析题最适合展开成完整的技术场景设计题。其他问题则围绕产品思维、求职动机、岗位理解和团队匹配进行整理。
康师傅 AI 应用开发工程师(二面)面经:生产级 AI 应用、RAG 优化与文档智能解析
面试方向:AI 应用开发 / Agent 工程化 / RAG / OCR / VLM
一、面试整体情况
本次面试主要考察以下几个方面:
| 模块 | 面试问题 | 考察重点 |
|---|---|---|
| AI 工程化 | AI Coding 开发的应用投入生产,需要考虑什么? | 工程质量、稳定性、权限、安全、可维护性 |
| RAG | 知识库问答召回准确率和效率遇到瓶颈,如何优化? | 检索策略、混合召回、重排、Agent 路由、性能优化 |
| 文档智能解析 | OCR / VLM 如何处理表格、非标准换行? | PDF 解析、版面分析、表格结构恢复、质量校验 |
| 产品思维 | 如何理解 AI 技术岗位中的产品工作? | 需求分析、业务理解、技术方案转化 |
| 岗位认知 | 如何理解企业 AI 应用开发岗位? | 业务落地、技术选型、跨部门协作 |
| 求职动机 | 为什么选择这家公司?如何看待稳定性和发展? | 岗位匹配度、职业规划、求职动机 |
| 学习能力 | 目前还存在哪些不足?如何跟进 AI 技术? | 自我认知、主动学习、技术广度 |
从面试过程来看,面试官没有过多考察基础语法,而是直接围绕 AI 应用开发中的实际问题展开。尤其关注候选人能否从业务需求出发,分析技术瓶颈,提出可以落地的解决方案。
二、核心技术场景题
1. AI Coding 开发的应用投入生产,与个人开发简单应用有什么区别?
重点问题
面试问题:
现在有很多 AI Coding 工具,可以通过自然语言快速构建应用。你怎么看待使用 AI Coding 工具构建的应用投入生产环境?它和个人开发一些简单应用有什么区别?需要额外考虑哪些问题?
这道题表面上是在问 AI Coding,实际上考察的是对企业级软件工程的理解。
一个个人 Demo 可能只需要实现基本功能,能够运行、能够展示效果即可。但企业生产环境中的应用,需要长期运行、面对真实用户、接入内部业务系统,还要承担数据安全和业务连续性方面的责任。
因此,可以先用一句话概括:
个人 Demo 追求的是快速跑通,生产级应用追求的是稳定、可靠、可维护,并且能够适应真实业务变化。
1.1 数据可靠性:不能只考虑理想输入
个人开发时,输入数据通常比较规范,开发者也能够控制输入内容。
但企业环境中的数据往往比较复杂:
- 数据字段可能缺失。
- 用户输入可能不符合预期。
- 文档格式可能不统一。
- 不同业务系统的数据结构可能不同。
- 大模型输出可能存在格式错误或内容幻觉。
例如,一个基于大模型的文档抽取系统,Demo 阶段可能只处理格式统一的 PDF 文件。
真正投入生产后,可能同时遇到扫描件、加密 PDF、表格、图片、乱码以及复杂排版。
因此,需要增加:
- 输入参数校验。
- 文件格式检测。
- 异常捕获与错误分类。
- 模型输出结构校验。
- 低置信度结果处理。
- 人工审核与失败兜底。
尤其不能默认大模型一定能够返回符合要求的 JSON。应该使用结构化输出约束,并在模型返回后再次进行 Schema 校验。
1.2 稳定性与并发:不能只考虑单用户体验
个人 Demo 通常只有少量用户访问,即使某个请求执行十几秒,也不一定会产生明显问题。
但生产环境可能同时有多个业务部门调用 Agent。
这时需要考虑:
- API 请求限流。
- 模型调用超时。
- 请求重试与退避。
- Redis 缓存。
- 异步任务调度。
- 线程池隔离。
- 服务降级和熔断。
例如,多个用户同时上传文档进行解析,如果所有任务都直接占用同一个业务线程池,可能导致普通业务接口也无法正常响应。
可以将文档解析任务放入独立的异步任务队列,由后台 Worker 按照系统资源情况逐步处理。
1.3 企业业务适配:通用工具不等于企业解决方案
AI Coding 工具生成的通常是通用实现,但企业内部系统有大量特定业务约束。
例如:
- ERP 等内部系统的接口适配。
- 企业自身的业务规则。
- 不同部门的数据权限。
- 内部账号和身份认证。
- 操作日志与审计。
- 数据是否允许发送到外部模型服务。
因此,不能只关注 Agent 能否调用某个工具,还需要考虑工具调用是否经过权限校验、是否能够审计、是否符合企业的数据安全要求。
对于涉及敏感业务数据的应用,还需要考虑模型部署位置、数据脱敏、传输加密和数据保留策略。
1.4 可维护性:代码能够生成,不代表代码能够长期维护
AI Coding 可以快速生成大量代码,但随着业务规模增长,系统会不断出现新需求。
如果缺乏统一的代码规范和架构约束,容易出现:
- 重复代码。
- 模块之间耦合严重。
- 接口定义不统一。
- 异常处理方式不一致。
- 日志缺失,出现问题难以排查。
- 修改一个功能影响其他模块。
因此,生产级应用需要建立:
- 清晰的模块边界。
- 统一的接口规范。
- 合理的设计模式。
- 自动化测试。
- 代码审查机制。
- 日志、监控和链路追踪。
1.5 一个完整的回答框架
| 维度 | 个人 Demo | 企业生产环境 |
|---|---|---|
| 数据 | 理想数据、少量数据 | 脏数据、异常数据、海量数据 |
| 稳定性 | 能够运行即可 | 超时、重试、降级、容错 |
| 并发 | 少量用户 | 多用户、高并发 |
| 安全 | 基本访问控制 | 身份认证、权限、审计、数据隔离 |
| 业务 | 通用功能 | ERP 等内部系统及业务规则 |
| 维护 | 快速开发 | 模块化、测试、监控、持续迭代 |
面试回答参考:
我认为最大的区别是目标不同。个人 Demo 更关注能不能快速实现功能,而企业生产环境更关注系统能不能长期稳定运行。
我会重点考虑四个方面:
- 第一是数据可靠性,要处理异常输入、脏数据以及大模型输出不稳定的问题;
- 第二是系统稳定性,要考虑并发、限流、超时、重试和降级;
- 第三是业务适配与安全,需要对接企业内部系统,并做好权限控制、数据隔离和操作审计;
- 第四是可维护性,需要保证代码结构、接口规范和日志监控能够支持后续业务迭代。
所以我认为 AI Coding 是提高开发效率的工具,但不能代替开发人员对架构、核心逻辑和交付质量的判断。
2. 知识库问答 Agent 的召回准确率和效率遇到瓶颈,应该如何优化?
本场最值得深入准备的 技术题
面试问题:
在 Agent 开发中,例如知识库问答场景,如果召回准确率和效率遇到瓶颈,应该从哪些方向进行优化?
这道题不能简单回答“换一个更好的 Embedding 模型”或者“增加 Top-K”。
因为 RAG 的最终效果不是由单一模型决定的,而是由数据处理、召回、重排、上下文组织、Agent 编排以及生成等多个环节共同决定。
建议按照三个层次展开:
- 数据与检索层: 解决召回是否准确。
- Agent 编排层: 解决是否需要检索、应该如何检索。
- 工程优化层: 解决整体响应速度和系统资源消耗。
2.1 首先明确 RAG 的完整流程
RAG(Retrieval-Augmented Generation,检索增强生成)主要包含两个阶段。
阶段一:离线知识库构建
原始文档
|
v
文档解析
|
v
文本清洗
|
v
Chunk 切分
|
v
Embedding 向量化
|
v
向量数据库 / 关键词索引
阶段二:在线问答
用户问题
|
v
问题理解与改写
|
v
知识检索
|
v
候选文档召回
|
v
Rerank 重排序
|
v
上下文构建
|
v
LLM 生成答案
|
v
结果校验
|
v
返回答案
理解这个流程非常重要。
因为当最终答案不准确时,问题可能出现在任意环节:
- 文档解析时已经丢失信息。
- Chunk 切分破坏了上下文。
- Embedding 无法准确表达问题语义。
- 召回阶段没有找到正确文档。
- Rerank 将正确文档排到了后面。
- 上下文过长,模型没有正确利用证据。
- 最终生成阶段出现幻觉。
所以优化前应先定位问题,而不是直接修改 Prompt 或更换模型。
2.2 第一层:优化数据处理与检索策略
这一层主要解决召回准确率问题。
(1)优化 Chunk 切分策略
很多 RAG 系统会使用固定长度切片,例如每 500 个 Token 切分一次。
但固定长度切片存在一个问题:它不一定符合文档本身的语义结构。
例如:
专利标题:一种新型电池材料
技术问题:
该材料在高温环境下稳定性较差。
解决方案:
通过引入特定复合结构提高材料稳定性。
技术效果:
提高材料的耐高温性能。
如果按照固定长度切分,可能把“技术问题”和“解决方案”拆到不同 Chunk 中,导致检索到的信息不完整。
可以采用结构化切分:
- 按标题和章节切分。
- 按段落边界切分。
- 对表格单独处理。
- 对长文档保留父子层级关系。
- 对相邻 Chunk 设置适当重叠。
对于结构复杂的文档,可以采用 Parent-Child Retrieval:
- Child Chunk 用于精确检索。
- Parent Chunk 用于补充上下文。
这样既可以提高检索粒度,又能避免上下文信息丢失。
(2)优化 Embedding 模型
Embedding 模型负责将文本转换成向量。
例如:
q→q∈Rd q \rightarrow \mathbf{q}\in \mathbb{R}^{d} q→q∈Rd
di→di∈Rd d_i \rightarrow \mathbf{d_i}\in \mathbb{R}^{d} di→di∈Rd
其中,qqq 是用户问题,did_idi 是候选文档。
通过余弦相似度计算两者的语义接近程度:
sim(q,di)=q⋅di∣q∣∣di∣ \operatorname{sim}(q,d_i) = \frac{\mathbf q\cdot\mathbf d_i} {\\|\mathbf q\\|\\|\mathbf d_i\\|} sim(q,di)=∣q∣∣di∣q⋅di
然后按照相似度排序,选取 Top-K 文档。
如果召回效果不好,可以从以下方向优化:
- 更换领域适配能力更好的 Embedding 模型。
- 对专业术语、缩写和别名进行归一化。
- 对用户问题进行 Query Rewrite。
- 对复杂问题进行 Query Decomposition。
- 根据实际业务数据构建评测集,必要时进行领域微调。
这里需要注意:Embedding 模型并不是越大越好,应该通过实际评测比较召回效果、推理延迟和部署成本。
(3)使用混合检索,而不是只依赖向量检索
纯向量检索擅长语义相似度,但在精确匹配方面可能存在不足。
例如:
查询型号为 ABC-2026 的产品对应的技术参数。
如果只使用向量检索,可能召回语义相似但型号不同的文档。
因此可以采用混合检索:
| 检索方式 | 主要优势 | 适用场景 |
|---|---|---|
| 向量检索 | 语义理解 | 自然语言表达、同义问题 |
| BM25 / 关键词检索 | 精确匹配 | 型号、编号、专有名词 |
| 知识图谱检索 | 实体关系约束 | 多实体、多跳关系 |
| 元数据过滤 | 缩小搜索范围 | 部门、时间、文档类型 |
可以通过加权融合方式合并不同召回结果:
Score(d)=αS_vector(d)+βS_BM25(d)+γS_graph(d) Score(d)= \alpha S\_{\text{vector}}(d) +\beta S\_{\text{BM25}}(d) +\gamma S\_{\text{graph}}(d) Score(d)=αS_vector(d)+βS_BM25(d)+γS_graph(d)
其中权重需要通过实际数据集调优,并不应该直接采用固定比例。
如果不同检索结果的分数尺度差异较大,可以考虑使用 RRF(Reciprocal Rank Fusion)进行排序融合,而不是直接相加原始分数。
(4)增加 Rerank 重排序
混合检索可以提高候选文档覆盖率,但候选集不一定完全按照相关性排列。
因此可以增加 Rerank 模型进行二次排序。
流程:
用户问题
|
v
多路召回
|
v
Top 50 候选文档
|
v
Rerank 模型
|
v
Top 5 高相关文档
|
v
LLM 生成答案
Embedding 通常用于高效检索,Rerank 则进一步判断问题和候选文档之间的相关性。
需要注意的是,Rerank 会增加额外推理开销,因此不宜无条件对全部文档执行重排序。通常先通过召回缩小候选集,再对有限候选进行精排。
2.3 第二层:优化 Agent 编排,减少无效检索
这一层是普通 RAG 与 Agent 化 RAG 比较重要的区别。
并不是所有问题都需要执行完整的检索与推理流程。
例如:
用户提问:
公司办公时间是什么?
如果知识库中存在明确的 FAQ,可以直接从缓存或 FAQ 索引中返回答案。
但如果用户提问:
某项业务规则在不同地区的执行方式有什么区别?
这可能需要跨文档检索、信息整合和多步推理。
因此可以在 RAG 前面增加一个问题路由模块。
(1)增加 Query Router
先判断用户问题属于哪种类型:
| 问题类型 | 推荐执行路径 |
|---|---|
| 高频简单 FAQ | 缓存 / FAQ 直接查询 |
| 普通知识问题 | 标准 RAG |
| 专业术语问题 | 关键词 + 向量混合检索 |
| 多文档比较 | 多路召回 + Rerank |
| 多跳复杂问题 | Query Decomposition + Agent |
| 知识库无法回答 | 明确告知证据不足 |
这样可以避免所有问题都调用复杂 Agent,降低平均响应时间和模型调用成本。
路由器可以由规则、轻量分类模型或 LLM 实现。对于高频、明确的问题,优先采用规则或轻量模型;只有低置信度和复杂问题才交给大模型判断。
(2)复杂问题采用 Query Decomposition
例如:
比较 A 产品和 B 产品的技术特点,并说明它们分别适合什么应用场景。
可以拆成:
- 检索 A 产品的技术特点。
- 检索 B 产品的技术特点。
- 检索 A 产品的应用场景。
- 检索 B 产品的应用场景。
- 整合信息并生成对比结果。
这样可以避免将一个复杂问题直接交给单次向量检索,导致召回不完整。
(3)增加结果校验和二次检索
检索到文档不代表一定能够回答问题。
可以在生成前后加入验证机制:
- 检索结果是否覆盖问题中的关键实体?
- 是否包含回答所需的核心字段?
- 不同文档之间是否存在冲突?
- 证据是否足以支持最终结论?
如果证据不足,可以触发补充检索或问题改写。
但需要设置最大检索次数和 Token 预算,避免 Agent 无限循环。
2.4 第三层:工程优化,降低响应延迟
前面主要解决准确率问题,这一层主要解决效率问题。
(1)缓存热点问题
对于高频问题,可以将问题向量、检索结果或最终答案缓存到 Redis。
缓存设计需要考虑:
- 缓存 Key 如何生成。
- 相似问题是否可以复用缓存。
- 知识库更新后如何失效。
- 用户权限不同是否允许共享缓存。
特别注意:企业知识库存在权限隔离时,不能只根据问题文本生成缓存 Key,否则可能把某个用户有权限看到的答案返回给无权限用户。
(2)并行检索
向量检索、关键词检索、知识图谱查询如果相互独立,可以并行执行。
用户问题
|
v
Query Router
|
+---------+---------+
| | |
v v v
向量检索 BM25检索 图谱查询
| | |
+---------+---------+
|
v
结果融合
|
v
Rerank
|
v
LLM生成
相比串行执行,并行检索可以减少整体等待时间,但要考虑线程池、连接池和超时控制。
(3)减少不必要的模型调用
例如:
- 简单问题不调用复杂 Agent。
- 对固定格式问题采用规则处理。
- 对低复杂度任务使用轻量模型。
- 只有复杂问题才调用高性能模型。
- 对相同问题复用已有检索结果。
(4)控制上下文长度
检索到的文档越多,并不意味着回答越准确。
过长的上下文可能带来:
- Token 消耗增加。
- 模型推理时间增加。
- 无关信息干扰。
- 关键证据被淹没。
因此,需要通过 Rerank、去重、上下文压缩和证据筛选,控制最终输入模型的内容规模。
2.5 第四步:如何判断优化是否有效?
不能只凭感觉判断优化效果,需要建立评测体系。
| 指标 | 含义 | 主要评价对象 |
|---|---|---|
| Recall@K | 正确文档是否进入前 K 个候选 | 召回覆盖率 |
| Precision@K | 前 K 个候选中相关文档的比例 | 召回准确性 |
| MRR | 第一个相关文档出现的位置 | 排名质量 |
| NDCG@K | 考虑相关性等级的排序质量 | 重排效果 |
| Answer Accuracy | 最终答案是否正确 | 生成质量 |
| P95 Latency | 95% 请求的响应时间上限 | 系统效率 |
| Token Cost | 单次请求消耗的 Token | 调用成本 |
例如,优化前:
- Recall@5 = 0.70
- P95 延迟 = 2 秒
优化后:
- Recall@5 = 0.85
- P95 延迟 = 5 秒
虽然召回覆盖率提高了,但响应时间也明显增加。因此不能简单认为优化成功,还需要根据业务要求权衡准确率、延迟和成本。
面试回答参考:
我会先从数据检索、Agent 编排和工程性能三个层面分析。
第一,数据检索层,重点优化 Chunk 切分、Embedding、混合检索和 Rerank。比如专业领域中存在大量型号和专有名词,单纯向量检索可能不够准确,可以结合 BM25 和知识图谱进行混合召回。
第二,Agent 编排层,增加问题路由。简单 FAQ 直接走缓存或固定检索,复杂问题再触发 Query Decomposition 和多 Agent 协作,同时增加结果验证,判断当前召回的证据是否足以回答问题。
第三,工程层,可以通过 Redis 缓存、并行检索、减少不必要的模型调用以及上下文压缩降低响应时间。
最后还需要建立评测集,持续监控 Recall@K、NDCG、最终答案准确率以及 P95 延迟,避免只提升召回准确率,却让整个系统变得更慢。
3. OCR / VLM 解析复杂文档时,如何处理表格和非标准换行?
重点问题 · 面试官明确认可的技术方案
面试问题:
使用 OCR 和 VLM 提取专利等文献内容时,如果文档中包含表格、化学方程式以及非标准换行,应该如何构建处理方案?传统 OCR 往往难以保留完整格式,非标准换行也可能导致文本之间失去语义关联,应该怎么处理?
这道题非常典型,考察的是文档智能解析(Document Intelligence)能力。
它并不是简单地调用 OCR 接口,把 PDF 转成文本就结束了。真正困难的地方在于:如何在提取文本的同时,尽可能保留原始文档的结构、布局和语义关系。
例如,原始文档中有一个表格:
| 材料 | 温度 | 性能 |
|---|---|---|
| A 材料 | 200℃ | 稳定 |
| B 材料 | 300℃ | 稳定 |
如果 OCR 只提取出一串文本:
材料 温度 性能 A材料 200℃ 稳定 B材料 300℃ 稳定
虽然文字基本识别出来了,但原始的行列关系已经丢失。
后续大模型可能无法准确判断哪个温度对应哪个材料,最终导致实体属性和关系抽取错误。
因此,建议将整体方案分成三个阶段:
结构还原 → 语义补全 → 质量校验。
3.1 第一步:文档预处理与版面分析
首先需要判断输入文档属于哪种类型。
常见情况包括:
- 文本型 PDF:本身包含可提取的文本层。
- 扫描型 PDF:本质上是图片,需要 OCR。
- 混合型 PDF:部分页面有文本层,部分页面是扫描图像。
- 复杂排版文档:包含表格、图片、公式、多栏布局等。
因此,不应该所有 PDF 都直接走 OCR。
可以先进行文档类型识别:
PDF 输入
|
v
检查文本层
|
+---- 有有效文本层 ----> 直接提取文本
|
+---- 无有效文本层 ----> OCR 识别
|
v
页面图像与文本统一处理
|
v
版面分析
|
v
识别标题、段落、表格、图片、公式
接下来使用具备版面分析能力的 OCR 模型或文档解析模型,对页面中的不同区域进行分类。
例如:
| 页面元素 | 处理方式 |
|---|---|
| 标题 | 保留层级关系 |
| 普通段落 | 文本提取与段落重组 |
| 表格 | 表格检测、行列恢复 |
| 图片 | 图像区域识别 |
| 化学方程式 | 公式区域识别与专项解析 |
| 页眉页脚 | 识别并过滤或单独保存 |
这里有一个重要设计:不要在最开始就把所有内容合并成纯文本。
应该先构建一个带有结构信息的中间表示(Intermediate Representation)。
例如:
{
"page": 1,
"elements": [
{
"type": "title",
"text": "一种新型复合材料"
},
{
"type": "paragraph",
"text": "本发明涉及一种复合材料..."
},
{
"type": "table",
"table_id": "table_1",
"content": []
},
{
"type": "formula",
"formula_id": "formula_1"
}
]
}
实际系统中还可以保留:
- 页面编号。
- 元素坐标(Bounding Box)。
- 阅读顺序。
- 识别置信度。
- 原始图像区域。
- 文档章节路径。
这些信息能够帮助后续模型理解内容来自哪里,也方便出现问题时定位到原始页面。
3.2 第二步:处理非标准换行,恢复文本语义
这是面试官特别关注的一个问题。
传统 OCR 通常会根据图像中的文字区域输出识别结果,但它不一定理解一段文字在语义上是否完整。
例如,原文:
本发明通过引入一种新型复合
结构,提高材料在高温环境下
的稳定性。
OCR 可能输出:
本发明通过引入一种新型复合
结构,提高材料在高温环境下
的稳定性。
如果直接按照换行符切分,就会得到三个不完整的片段。
后续模型可能无法正确理解它们之间的关系。
解决这个问题,需要结合版面信息和语义信息。
方法一:基于版面规则进行拼接
可以根据文本块的位置判断是否属于同一个段落。
例如:
- 两个文本块是否处于相同的列。
- 前一个文本块是否接近页面右边界。
- 后一个文本块是否紧接前一个文本块。
- 两个文本块之间的垂直距离是否较小。
- 是否存在明显的段落缩进或标题边界。
如果两个文本块在空间上连续,且没有明显的段落分隔,就可以考虑合并。
方法二:基于语言和语义进行判断
在版面规则之后,还可以结合语言模型或规则判断句子是否完整。
例如:
原始片段 A:
本发明通过引入一种新型复合
原始片段 B:
结构,提高材料在高温环境下的稳定性。
合并后:
本发明通过引入一种新型复合结构,
提高材料在高温环境下的稳定性。
可以从以下几个角度判断:
- 前一个片段是否以未完成的短语结尾。
- 后一个片段是否可以自然承接前一个片段。
- 合并后是否符合专利文献的常见句式。
- 是否跨越了标题、章节或表格边界。
对于专利文献,还可以利用固定章节结构辅助判断,例如摘要、权利要求书、背景技术、发明内容和具体实施方式。
但不能简单地删除所有换行符,因为换行有时代表真正的段落边界、列表结构或表格分隔。
因此,更合理的做法是:先利用版面结构判断可拼接范围,再利用语义判断是否应该拼接。
3.3 第三步:表格解析,恢复行列结构
表格是文档解析中比较困难的部分。
原因在于表格不仅包含文本,还包含二维空间结构。
例如:
原始表格结构
| 材料名称 | 制备温度 | 性能 |
|---|---|---|
| A 材料 | 200℃ | 稳定 |
| B 材料 | 300℃ | 稳定 |
表格解析的目标不仅是识别单元格文字,还要恢复表头、行列、合并单元格及其对应关系。
可以采用以下处理流程:
表格区域检测
|
v
表格结构识别
|
v
行列与单元格定位
|
v
OCR 识别单元格内容
|
v
恢复表头与单元格对应关系
|
v
转换为结构化数据
|
v
质量校验
第一,表格检测。
先确定表格在页面中的位置,获得表格区域的 Bounding Box。
第二,结构识别。
识别表格的行、列、单元格以及合并单元格关系。
第三,单元格内容识别。
对每个单元格单独进行 OCR,避免整张表格被识别成无序文本。
第四,结构化转换。
可以转换为 HTML、Markdown 表格或 JSON。
例如:
{
"headers": ["材料名称", "制备温度", "性能"],
"rows": [
["A 材料", "200℃", "稳定"],
["B 材料", "300℃", "稳定"]
]
}
如果表格比较复杂,还可以将每一行转换成键值对:
{
"材料名称": "A 材料",
"制备温度": "200℃",
"性能": "稳定"
}
这样后续的大模型就不需要再从一串文本中猜测行列关系,而是直接基于结构化数据进行实体、属性和关系抽取。
3.4 第四步:VLM 与传统 OCR 如何配合?
这里需要明确 OCR 和 VLM 的职责区别。
| 技术 | 主要职责 | 优势 |
|---|---|---|
| OCR | 文字识别 | 文字识别稳定、处理成本相对可控 |
| 版面分析模型 | 区域定位和结构分类 | 能够保留文档布局 |
| VLM | 理解图像内容和复杂结构 | 能处理复杂版面、图文关联 |
| LLM | 语义理解与结构化抽取 | 能理解上下文和复杂关系 |
不建议直接把所有页面都交给高成本 VLM 处理。
更合理的是分层处理:
- 先用 PDF 文本提取或 OCR 完成基础内容识别。
- 使用版面分析模型识别复杂区域。
- 对普通文本采用规则和 OCR 处理。
- 对表格、公式、复杂图文关系等区域,再使用 VLM 辅助理解。
- 将结果统一转换成结构化数据。
也就是说,VLM 不一定需要替代 OCR,而是可以补足传统 OCR 对复杂结构理解不足的问题。
3.5 第五步:如何保证抽取结果的质量?
即使使用了 OCR、VLM 和 LLM,也不能认为结果一定正确。
特别是在大批量文档处理场景中,如果错误结果直接进入知识图谱,就可能进一步污染后续检索和问答。
因此需要增加质量校验。
可以分为四层:
第一层:结构完整性校验
例如:
- 表格是否存在表头。
- 每一行的列数是否一致。
- 是否存在大量空单元格。
- 是否存在明显的异常字符。
- 表格边界是否完整。
第二层:视觉一致性校验
将解析结果重新渲染成表格,再与原始图像区域进行对比。
可以通过图像相似度或结构相似度判断解析结果是否存在明显偏差。
但需要注意,视觉相似度只能作为辅助信号,不能直接等同于语义正确率。
第三层:置信度与异常检测
对 OCR、VLM 和后续结构化抽取结果设置置信度或质量评分。
对于低置信度结果,可以输出 note 等标记,明确指出需要复核的区域。
第四层:人工复核与反馈迭代
对于低置信度和高风险文档,交给人工审核。
人工确认后的结果可以用于:
- 优化解析规则。
- 补充 Few-shot 示例。
- 调整模型提示词。
- 改进版面分析策略。
- 构建专项评测集。
最终形成:
文档输入
|
v
OCR / VLM 解析
|
v
结构化抽取
|
v
规则校验
|
v
视觉一致性检查
|
+---- 通过 ----> 写入结构化数据
|
+---- 未通过
|
v
低置信度标记
|
v
人工复核 / 重新解析
|
v
反馈迭代
3.6 这道题的完整回答思路
可以把回答浓缩为:
先恢复文档结构,再解决语义断裂,最后建立质量校验闭环。
具体来说:
- 对文本型 PDF,优先直接提取文本;对扫描件,使用 OCR。
- 通过版面分析区分标题、段落、表格和公式,并保留坐标和阅读顺序。
- 对非标准换行,结合文本块位置、段落规则和语义连续性进行拼接。
- 对表格,先定位表格区域,再识别行列和单元格,最后转换成结构化 JSON。
- 对复杂表格、公式和图文关系,使用 VLM 辅助处理。
- 最后通过结构完整性、视觉一致性和置信度检查进行质量控制,低置信度结果交给人工复核。
这道题的关键不是单纯追求 OCR 识别率,而是保证从原始文档到结构化数据的整个转换过程不丢失关键语义。
三、业务与产品思维相关问题
1. 如何理解 AI 技术岗位中的产品工作?
面试问题:
除了技术本身,如何理解人工智能相关岗位中的产品工作?技术开发人员是否也需要承担部分产品职责?
这道题主要考察候选人是否只关注技术实现,还是能够站在业务角度理解问题。
在企业 AI 应用开发中,业务方提出的需求往往比较抽象。
例如:
我们希望建设一个知识库问答系统。
这句话并不能直接指导开发。
还需要进一步明确:
- 谁会使用这个系统?
- 用户最常查询什么内容?
- 需要覆盖哪些业务文档?
- 用户希望得到什么形式的答案?
- 对响应速度有什么要求?
- 如果知识库没有答案,应该如何处理?
- 如何衡量系统上线后的效果?
因此,产品思维的核心是:
把业务需求转化为明确的功能、技术方案和可衡量的业务指标。
可以分为三个阶段。
第一,理解业务场景。
不能只听用户说“需要一个 AI 系统”,还需要了解实际工作流程和痛点。
例如,业务部门希望通过知识库快速查询专利信息,那么就需要进一步确认用户到底是想查询专利原文、技术发展趋势,还是希望了解某项技术解决了什么问题。
第二,将业务需求转化为技术指标。
例如:
| 业务需求 | 对应技术指标 |
|---|---|
| 查询结果准确 | Answer Accuracy、Recall@K |
| 查询速度快 | P95 Latency |
| 支持复杂问题 | 多跳检索能力 |
| 回答有依据 | 引用覆盖率、证据可追溯性 |
| 不确定时不乱答 | 拒答准确率、低置信度识别 |
第三,建立需求迭代闭环。
业务调研
|
v
需求分析
|
v
指标定义
|
v
技术方案
|
v
开发测试
|
v
上线运行
|
v
用户反馈
|
v
持续迭代
对于 AI 应用开发人员来说,具备产品思维并不意味着要取代产品经理,而是需要能够理解业务需求,并将其转化为可执行的开发任务。
2. 如何理解企业 AI 应用开发岗位?
从面试官介绍的团队情况来看,该岗位并不是简单地调用大模型 API 或使用可视化平台搭建 Agent。
岗位更关注企业内部业务场景的实际落地。
主要包括:
- 将大模型与传统业务系统结合。
- 使用 Agent 处理复杂业务流程。
- 对接 ERP 和内部管理系统。
- 根据业务场景选择 RPA、传统模型或大模型。
- 建设满足企业权限、安全和审计要求的应用平台。
这里有一个值得注意的技术观点:
企业 AI 应用不一定所有环节都需要大模型。
例如:
| 业务任务 | 更合适的技术方案 |
|---|---|
| 固定格式字段提取 | 正则表达式、规则、小模型 |
| 文档分类 | 传统分类模型或轻量模型 |
| 复杂语义理解 | 大语言模型 |
| 固定业务流程执行 | Workflow / 规则引擎 |
| 跨系统自动化操作 | API 工具调用、RPA |
| 多步骤动态任务 | Agent |
企业应用需要根据任务的确定性、复杂度、成本和风险选择技术,而不是为了使用大模型而使用大模型。
四、求职动机与岗位匹配问题
1. 为什么选择这家公司?更看重 AI 领域的成就还是行业稳定性?
面试问题:
在当前的市场环境下,选择工作机会时,是更看重 AI 领域的发展和成就,还是更看重行业稳定性?
这类问题通常不是简单地让候选人二选一,而是在考察求职动机是否清晰,以及对岗位是否有长期规划。
回答时不建议只说“我既看重发展,也看重稳定”,这样容易显得没有明确立场。
可以按照以下逻辑组织:
- 明确自己选择岗位的核心标准。
- 说明为什么关注企业 AI 应用落地。
- 结合公司真实业务场景说明匹配度。
- 表达希望在具体业务中持续积累的意愿。
回答参考:
我选择工作时更看重技术方向和实际业务场景是否匹配,而不是单纯根据行业是否稳定来决定。
我比较关注 AI 技术在企业内部的实际应用,例如知识库问答、文档智能处理、业务流程自动化等。这些场景不仅需要大模型能力,还涉及数据处理、系统集成和工程化落地。
我希望进入一个有真实业务需求、能够持续推进 AI 应用的团队,在解决实际问题的过程中积累工程经验,而不是只做一些展示性质的 Demo。
2. 如果同一个问题在面试开头和结尾被再次询问,应该如何回答?
面试中如果面试官在结尾再次询问求职动机,不建议把开场的长答案重复一遍。
更好的方式是结合面试过程中了解到的新信息进行回答。
例如:
刚才听完您对团队和岗位的介绍,我对这个岗位的理解更加清晰了。它不仅需要开发 Agent 应用,还需要解决内部系统对接、权限管理和生产级稳定性等问题。这些正是我希望深入积累的方向,所以相比面试开始前,我现在对岗位的匹配度有了更明确的判断。
这种回答既能体现认真倾听,也能让第二次回答有新的信息。
3. 如何看待提前实习和长期到岗要求?
这属于事务性问题,回答时最重要的是明确。
建议按照:
- 当前是否可以实习。
- 最早可以开始的时间。
- 学校是否还有必须完成的安排。
- 是否能够满足后续长期坐班要求。
回答时不要使用“应该可以”“到时候再看”等模糊表达。如果时间安排尚未确定,也应明确说明需要确认的具体事项。
五、反问环节与面试官对岗位的介绍
1. 团队和岗位的实际情况
面试后半段,面试官介绍了团队的组织情况、技术方向以及岗位未来的工作内容。
根据面试交流,可以归纳为以下几点:
| 维度 | 主要信息 |
|---|---|
| 团队背景 | IT 部门负责生产、销售、财务、人资、物流等领域的信息化系统 |
| AI 发展方向 | 将大模型与传统决策模型、RPA 等技术结合 |
| 团队建设 | 新成立 AI 智能应用研究团队 |
| 技术平台 | 更倾向于建设符合企业内部需求的 Agent 开发平台 |
| 自建原因 | 需要对接 ERP 和外部业务系统,同时满足权限、安全及业务逻辑要求 |
| 岗位定位 | 前期参与实际项目落地,逐步承担更完整的需求和方案设计工作 |
| 成长方向 | 从辅助开发逐渐向业务需求分析、产品设计和项目落地延伸 |
其中,比较值得关注的是企业为什么不直接使用 Dify、n8n 等现成的 Agent 平台。
这并不是说这些平台不好,而是企业级应用存在一些特殊要求:
- 内部业务系统接口需要定制。
- 不同部门具有不同的数据访问权限。
- Agent 工具调用需要符合企业内部管理规范。
- 部分数据不能随意发送到外部服务。
- 复杂业务流程需要与现有系统深度集成。
- 需要满足审计、监控和长期维护要求。
因此,企业可能会采用现有 Agent 框架作为基础,再开发自己的工具链、权限体系、工作流管理和业务适配模块。
2. 面试官对校招生的能力要求
面试官在交流中明确表达了几个期待:
第一,不能过度依赖 AI Coding。
AI 工具能够提高开发效率,但不能代替开发人员理解底层原理和解决复杂问题。
第二,既要有技术深度,也要持续跟进新技术。
AI 技术发展速度很快,不能长期停留在自己熟悉的研究方向,还需要主动了解新的模型、Agent 框架和工程实践。
第三,需要具备垂直方向的专业能力。
对于研究生而言,除了掌握通用开发能力,还需要在某个技术方向形成一定深度。
第四,重视真实业务落地。
不仅要能够开发功能,还需要理解业务流程、分析需求、处理异常,并与产品、测试和业务人员协作。
面试官还提到一个很值得记住的观点:
AI 工具能够帮助开发人员达到基础水平,但企业真正需要的是能够独立解决复杂问题、交付高质量系统的能力。
这里的核心并不是排斥 AI Coding,而是要求开发人员既能使用工具提高效率,也具备独立判断和处理问题的能力。
3. 面试中可以怎样反问?
相比于只问“团队需要什么样的人”,可以提出更具体的问题。
例如:
关于业务场景:
目前团队优先推进的 AI 应用场景主要集中在哪些业务领域?是知识库问答、文档智能解析,还是业务流程自动化?
关于技术架构:
团队目前是基于现有 Agent 框架进行二次开发,还是主要采用自研方式构建工具链和执行框架?
关于岗位职责:
对于刚入职的开发人员,前期主要参与已有项目的功能开发,还是也会参与业务需求分析和技术方案设计?
关于成长路径:
随着业务项目逐渐成熟,岗位后续是否会有机会独立负责某个业务场景,从需求分析一直参与到上线落地?
这些问题能够帮助判断岗位究竟是偏纯开发、AI 应用集成,还是包含一定的产品和方案设计职责。
六、面试结束时的主动求反馈:如何处理面试官指出的不足?
这部分虽然不是传统技术题,但非常值得整理。
面试结束时,可以主动询问面试官:
从您对这个岗位的要求来看,您觉得我目前还有哪些能力需要补充?如果后续有机会加入团队,您认为我最应该优先提升哪方面?
主动求反馈本身是一个不错的沟通方式,但更重要的是如何接住反馈。
如果面试官指出技术广度不足、对新技术跟进不够及时,不建议只回答“我会继续努力学习”。
更好的回答分为四步:
- 先接受反馈。 不急于辩解,明确自己理解对方指出的问题。
- 解释已有的学习方式。 通过实际例子说明自己如何主动学习、验证新技术。
- 给出可执行的提升计划。 明确准备学习什么、如何实践。
- 形成可验证的结果。 用代码、Demo、技术总结或实际项目证明学习效果。
例如:
这个反馈很有价值。我确实需要进一步拓宽技术视野,尤其是企业级 Agent 平台、传统自动化技术与大模型结合,以及生产环境中的工程实践。
我准备从两个方向补充:一方面,系统学习主流 Agent 开发框架,自己实现一个包含工具调用、权限控制和异常处理的完整应用;另一方面,围绕文档解析或知识库问答场景,做一次从需求分析、技术选型到部署验证的完整实践。
我认为技术学习不能只停留在看文档和了解概念,更重要的是通过实际开发验证技术方案,形成可以复用的经验。
这里需要注意:不要为了回应面试官而承诺无法完成的事情。最好提出具体、可执行、能够展示成果的学习计划。
七、整场面试的重点复习清单
| 技术方向 | 重点知识 |
|---|---|
| AI Coding 工程化 | 代码审查、异常处理、测试、权限、审计、可维护性 |
| RAG | Chunk 切分、Embedding、BM25、混合检索、Rerank |
| Agent | Query Router、Query Rewrite、Query Decomposition、工具调用 |
| RAG 评估 | Recall@K、Precision@K、MRR、NDCG、Answer Accuracy |
| 性能优化 | Redis 缓存、并行检索、上下文压缩、模型路由 |
| OCR | 文本识别、版面分析、Bounding Box、阅读顺序 |
| VLM | 图文理解、表格识别、复杂版面解析 |
| 文档结构恢复 | 表格行列识别、非标准换行、章节结构、公式处理 |
| 数据质量 | Schema 校验、置信度、视觉一致性、人工复核 |
| 企业 AI 平台 | ERP 集成、RPA、权限管理、数据安全、操作审计 |
| 产品思维 | 需求分析、业务指标、用户反馈、持续迭代 |
八、面试复盘:这场二面真正考察的是什么?
结合整场交流,可以归纳出三个核心方向。
第一,AI 应用开发不能停留在模型调用层面。
面试官关注的不只是能否使用大模型、RAG 或 Agent 框架,而是能否将这些能力真正放进企业的业务系统。
一个简单的知识库问答 Demo,可能只需要完成文档上传、向量检索和答案生成。但生产级系统还需要解决权限管理、数据隔离、异常处理、性能优化、监控和持续迭代等问题。
第二,技术方案需要从实际瓶颈出发。
RAG 召回准确率下降,不一定是 Embedding 模型的问题,也可能是文档解析、Chunk 切分、检索策略或 Rerank 导致的。
文档抽取结果不准确,也不一定是 OCR 模型能力不足,还可能是版面结构丢失、表格关系错误或非标准换行造成的。
因此,回答技术问题时,应该先分析完整链路,再定位具体瓶颈,最后提出针对性的优化方案。
第三,企业更看重技术深度、学习能力与业务落地能力的结合。
既要理解模型和 Agent 的底层原理,也要能够独立开发、调试和维护系统。
AI 工具可以降低开发门槛,但真正复杂的工作仍然需要开发人员自己解决,包括数据质量、业务适配、权限安全、性能瓶颈和系统可靠性。
更多推荐

所有评论(0)