一、多模态文档信息抽取:Gemini-2.5-Flash-Preview-04-17综合最强

 

在docext基准测试中,Gemini-2.5-Flash-Preview-04-17在关键信息提取(KIE)、视觉问答(VQA)、OCR、文档分类、长文档处理和表格提取六项能力上取得综合第一,平均准确率达81%。该模型在发票、合同等文档中提取名称、日期、金额等关键字段的能力尤为突出,能够准确识别和提取结构化数据,处理复杂的文档结构游刃有余。

 

二、长文档处理与表格提取:Claude-3.7-Sonnet领先

 

Claude-3.7-Sonnet在长文档处理方面表现卓越,能够跨多个页面维护上下文,理解文档结构,并从大型文档中准确检索信息。在表格提取任务中,该模型以91.23%的准确率领先其他模型,特别擅长从复杂表格格式中提取结构化数据,包括稀疏、密集、结构良好和非结构化表格。

 

三、中文信息抽取:Qwen2.5-VL-72B-Instruct表现突出

 

在中文信息抽取任务中,Qwen2.5-VL-72B-Instruct在MSRA数据集上取得了最高的F1分数,在文档分类方面准确率超过99%。该模型在命名实体识别(NER)、关系抽取(RE)和事件抽取(EE)等任务上均表现出色,是中文开源大模型中的佼佼者。

 

四、零样本与长文本信息抽取:PP-UIE优势明显

 

百度飞桨团队开发的通用信息抽取大模型PP-UIE在零样本学习能力上表现突出,相比传统UIE-Base模型在通用领域、新闻领域等多个数据集上平均提升66%,相比开源信息抽取大模型YaYi-UIE在F1指标上提高18.3个百分点。该模型支持8192个Token长度的文档信息抽取,文本长度支持能力是传统模型的32倍,在长文本处理方面具有显著优势。

 

五、术语自动抽取:Claude-3.7-Sonnet表现最佳

 

在基于ACTER数据集的术语自动抽取评测中,Claude-3.7-Sonnet以F1值0.722领先,较基线模型提升264.6%。Qwen2.5-72B-Instruct(F1=0.687)、GPT-4o mini(F1=0.672)和DeepSeek-V3-0324(F1=0.662)等模型紧随其后,验证了大语言模型在零样本术语抽取任务中的强大能力。

 

六、科技文本实体抽取:GPT-4综合表现最优

 

在科技文本实体抽取任务中,GPT-4在零样本、单样本和少样本场景下的F1值分别为21.30%、22.76%和24.80%,均领先于其他模型。GPT-3.5-turbo和ERNIE Bot在零样本设定下的效果优于单样本效果,这一现象在千亿参数规模的大模型上更为常见。

 

七、长文本处理能力:豆包大模型1.5Pro领先

 

在长文本处理能力评测中,豆包大模型1.5Pro凭借256K上下文窗口,在InfiniteBench标准测试中对10万字文档的信息提取准确率达91.43%,超越GPT-4 Turbo的83.84%,处理速度提升23.5%,成本降低63%。该模型在中文长文本处理、企业知识管理、学术研究等场景中具有显著优势。

 

更多推荐