一、什么是 Tesseract-OCR？

Tesseract 是一款开源的光学字符识别（OCR）引擎，最初由 HP 实验室于 1985 年启动研发，2005 年开源，2006 年起由 Google 接管并持续维护至今。它采用 Apache 2.0 许可证，可免费使用、修改和再分发。

核心能力：Tesseract 接收包含文字的图像（扫描文档、照片等），逐字符返回识别出的文本。在清晰的 300 DPI 印刷体扫描上，准确率可达 95%-99%。

重要局限：Tesseract 擅长读取字符，但不理解文档结构——它不知道哪个数字是发票总额、哪个是行项目小计，也不理解表格语义。

当前版本：目前稳定版本为 Tesseract 5.x，于 2021 年 11 月 30 日发布 5.0.0。5.3 版本新增了 32 种语言模型。

二、技术原理

2.1 版本演进

Tesseract 的发展经历了几个关键阶段：

版本	发布时间	核心变化
3.x	-	传统自适应分类器 + 字符形状分析
4.0	2018年	首次引入 LSTM 深度学习模型
4.1	-	升级为纯 LSTM 架构
5.0	2021年	多语言优化、API 简化
5.3	2023年	新增 32 种语言，增强手写体识别

2.2 核心架构

Tesseract 4.0 及以后版本采用 CNN + LSTM + CTC 的三段式深度学习架构：

1. 特征提取层：4 层卷积网络（32-64-128-256 通道）提取图像的空间特征
2. 序列建模层：双向 LSTM 网络处理图像像素数据，捕捉字符间的上下文语义关联
3. 解码层：CTC（Connectionist Temporal Classification）损失函数使模型可直接从未对齐的标签数据中学习

2.3 识别流程

Tesseract 的识别流程分为三个阶段：

• 预处理阶段：通过 Leptonica 图像处理库进行二值化、降噪、倾斜校正等操作，例如使用 Otsu 算法自动计算阈值将图像转为黑白
• 布局分析：识别文本区域、段落、表格等结构
• 字符识别：核心采用 LSTM 模型，通过多层循环神经网络学习字符序列的上下文关系

三、安装与配置

3.1 Windows

推荐方案：使用 UB Mannheim 提供的预编译安装包

1. 访问 UB Mannheim Tesseract Wiki
2. 下载最新版 tesseract-ocr-w64-setup-v5.x.x.exe
3. 运行安装程序，务必勾选“Add Tesseract to PATH”（添加环境变量）
4. 可选：勾选安装多语言包

验证安装：

tesseract --version

3.2 Linux（Ubuntu/Debian）

sudo apt update
sudo apt install tesseract-ocr          # 基础包
sudo apt install libtesseract-dev       # 开发头文件
sudo apt install tesseract-ocr-chi-sim  # 中文语言包（可选）

3.3 macOS

brew install tesseract                  # 默认含英文
brew install tesseract-lang             # 安装其他语言

3.4 语言包管理

Tesseract 默认仅包含英文（eng.traineddata），其他语言需单独安装。

• 下载地址：官方 tessdata 仓库
• 存放路径：
  • Windows：Tesseract安装目录\tessdata
  • Linux：/usr/share/tesseract-ocr/4.00/tessdata/
• 验证已安装语言：tesseract --list-langs

3.5 依赖库

• Leptonica：图像处理库（必需），版本需 ≥ 1.78.0
• OpenCV：可选，用于复杂图像预处理

四、基础使用

4.1 命令行操作

基本语法：

tesseract input.png output -l eng --psm 6

参数说明：

• input.png：输入图像路径
• output：输出文件名前缀（自动生成 output.txt）
• -l eng：指定语言（多个语言用 + 连接，如 eng+chi_sim）
• --psm 6：页面分割模式

示例：

# 英文识别
tesseract test.png output -l eng

# 中英文混合识别
tesseract invoice.jpg result -l chi_sim+eng

# 限制仅识别数字
tesseract number.png output -l eng --psm 6 -c tessedit_char_whitelist=0123456789

4.2 Python 集成（pytesseract）

安装：

pip install pytesseract pillow

基础代码：

import pytesseract
from PIL import Image

# Windows 需指定 Tesseract 路径
# pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'

# 打开图像并识别
image = Image.open('test.png')
text = pytesseract.image_to_string(image, lang='eng')
print(text)

带参数识别：

text = pytesseract.image_to_string(
    image,
    lang='chi_sim+eng',
    config='--psm 6 --oem 3'
)

获取位置信息：

data = pytesseract.image_to_data(image, output_type=pytesseract.Output.DICT)
# 返回包含文本、坐标、置信度等信息的字典

五、核心参数详解

5.1 页面分割模式（PSM）

Tesseract 提供 13 种 PSM 模式，正确选择 PSM 是提升识别率最有效的方法：

PSM 值	说明	适用场景
0	自动检测布局	不确定版面时
3	全自动页面分割（默认）	一般文档
4	假设为单列文本	单列文章
6	假设为统一文本块	最常用，清晰文本块
7	假设为单行文本	单行文字
8	假设为单个单词	单词级别识别
9	假设为单个单词（圆形）	环形文字
10	假设为单个字符	仅识别单个字符
11	稀疏文本	分散文字
12	稀疏文本（含方向）	方向不定的分散文字
13	单行（自动）	单行文字

5.2 OCR 引擎模式（OEM）

OEM 值	说明
0	仅使用传统（Legacy）引擎
1	仅使用 LSTM 神经网络引擎
2	传统 + LSTM 组合
3	默认，自动选择最优引擎

推荐：一般场景使用 --oem 3（默认），追求速度可用 --oem 1。

六、图像预处理（关键优化手段）

图像预处理是提升 Tesseract 识别准确率最有效的手段之一。实测显示，经过二值化+去噪处理的图像，识别准确率平均提升 23%。

6.1 标准预处理流程

使用 OpenCV 进行预处理：

import cv2
import numpy as np

def preprocess_image(image_path):
    # 读取图像
    img = cv2.imread(image_path)
    
    # 1. 灰度化
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
    # 2. 二值化（Otsu 自适应阈值）
    thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]
    # 或使用自适应阈值（适用于光照不均）
    # thresh = cv2.adaptiveThreshold(gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, 
    #                                 cv2.THRESH_BINARY, 11, 2)
    
    # 3. 去噪
    denoised = cv2.fastNlMeansDenoising(thresh, None, 10, 7, 21)
    
    return denoised

6.2 更多预处理技巧

操作	方法	适用场景
倾斜校正	pytesseract.image_to_osd() 获取旋转角度	扫描歪斜的文档
分辨率调整	转换为 300 DPI	低分辨率图像
尺寸优化	保持宽高比，最大 1200×1600	超大图像加速
对比度增强	直方图均衡化	对比度低的图像
去模糊	维纳滤波或深度学习去模糊模型	模糊图像

6.3 预处理原则

处理流程建议：灰度化 → 二值化/阈值化 → 去噪 → 锐化。对于低质量图像（如手机拍照的发票），预处理尤其重要。

七、输出格式

Tesseract 支持多种输出格式：

格式	命令	说明
TXT	默认	纯文本（UTF-8 编码）
HOCR	tesseract input.png output hocr	HTML + 边界框坐标
PDF	tesseract input.png output pdf	可搜索 PDF（图像+文字层）
TSV	tesseract input.png output tsv	制表符分隔，含逐词数据
ALTO	tesseract input.png output alto	ALTO XML 格式（4.1+）

八、自定义训练

当默认模型在特定场景（手写体、特殊字体、专业术语）识别率不足时，需要进行自定义训练。

8.1 何时需要自定义训练

• 特定字体/字号：默认模型基于通用语料训练
• 行业术语：医学、法律等专业词汇
• 手写体识别：默认模型对手写体几乎不可用
• 多语言混合：如中英文混排

效果示例：某物流企业通过训练包含快递单号的模型，将单号识别准确率从 78% 提升至 95%。

8.2 训练工具

• jTessBoxEditor：Java 开发的图形化标注工具，用于生成和修正 box 文件
• 环境要求：需安装 Java 运行环境（JRE）

8.3 训练流程概要

1. 数据准备：

   • 基础字符至少 50 例/字符，复杂汉字建议 200 例/字符
   • 图像格式：TIFF/PNG，分辨率 300 DPI
   • 使用 jTessBoxEditor 进行逐字符标注，误差控制在 ±2 像素内

2. 生成 box 文件：

   tesseract input.tif output box --psm 6
   

3. 提取字符集：

   unicharset_extractor output.box
   

4. 模型训练：

   • 配置 max_iter 5000 控制迭代次数
   • learning_rate 0.001 调整收敛速度

5. 增量训练：基于现有模型继续训练，可节省约 70% 时间

九、常见问题与解决方案

9.1 识别乱码或空白

• 原因：图像质量差、语言包未加载、PSM 模式错误
• 解决：
  • 确认语言包已安装：tesseract --list-langs
  • 尝试不同 PSM 模式（如 --psm 11 用于稀疏文本）
  • 对图像进行预处理（灰度化、二值化、去噪）

9.2 “Empty page!!” 错误

• 原因：Tesseract 在图像中未检测到任何文字
• 解决：
  • 更换 PSM 模式（最常见修复方法）
  • 检查图像是否包含足够清晰的文字
  • 调整图像预处理参数

9.3 “Error opening data file”

• 原因：语言包路径错误或文件缺失
• 解决：
  • 设置环境变量 TESSDATA_PREFIX 指向 tessdata 父目录
  • 确认 .traineddata 文件存在于正确路径

9.4 “Tesseract command not found”

• 原因：环境变量未配置
• 解决：
  • Windows：将 Tesseract 安装目录添加到系统 PATH
  • Linux/macOS：检查是否已安装

9.5 中文识别率低

• 原因：中文语言包未正确加载、图像质量差、版本兼容性问题
• 解决：
  • 安装 chi_sim.traineddata
  • 使用 lang='chi_sim' 或 'chi_sim+eng'
  • 升级到最新版本

十、最佳实践总结

1. 安装时务必配置环境变量：这是 Windows 用户最常见的失败原因

2. 先试 PSM，再调其他：更换 PSM 模式是提升识别率最高效的方法

3. 预处理不可省略：灰度化 + 二值化 + 去噪可使准确率提升 23%

4. 使用最佳语言包：从 tessdata_best 仓库下载高质量模型

5. 图像质量要求：建议 300 DPI，高对比度，低噪声，文字水平

6. 明确 Tesseract 的边界：它擅长印刷体识别，不适合手写体或需要理解文档结构的场景