如果只用一张排版规整、分辨率高的图片做演示，几乎无法预测历史档案、盖章文件、复印件和跨页表格的实际效果。更合理的方法是先按业务材料分层，再同时评估文字、结构、速度和失败恢复，最后验证解析结果能否支持检索与引用。
样本集怎么组成
常规样本
清晰电子 PDF、常见字体、单栏正文和简单表格，用于确认基础链路稳定。
代表性样本
按真实存量比例纳入扫描 PDF、双栏、图文混排、页眉页脚、复杂表格和公式。
困难样本
低分辨率、倾斜、阴影、印章遮挡、复印噪声、竖排、跨页表格和特殊字符，用于暴露边界。
样本应经过授权和脱敏，并保存原文件、期望结果与分类标签。不要只保留成功页，否则下一次版本比较会失去失败基线。
至少检查六个维度
| 维度 | 检查内容 | 常见问题 |
|---|---|---|
| 文字准确性 | 正文、数字、日期、姓名、专有名词与标点 | 形近字、数字小数点、印章遮挡、繁简与生僻字 |
| 阅读顺序 | 多栏、侧注、页眉页脚和图注是否按逻辑排列 | 跨栏串行、页眉重复进入正文、段落顺序颠倒 |
| 表格结构 | 行列、合并单元格、跨页表头与数值对应 | 列错位、表头丢失、跨页断裂、单元格内容串列 |
| 公式与符号 | 上下标、希腊字母、算式与单位 | 符号替换、上下标丢失、公式被拆成无序文本 |
| 来源定位 | 结果能否回到正确文件与页面 | 页码偏移、引用范围过大或无法对应原文 |
| 工程指标 | 成功率、每页耗时、队列、重试与失败信息 | 只统计成功页、异常卡死、失败原因不可观察 |
如何计算与记录
连续文字可以使用字符错误率或词错误率做基础比较，但中文分词、标点和版面会影响数值解释。表格更适合分别记录单元格内容准确性、行列结构和关键字段；阅读顺序可以对段落或块的顺序进行人工标注；公式通常需要对业务关键公式做逐条核验。所有指标都应同时报告样本数、样本分布、失败文件和统计口径。
- 对关键数字、金额、日期和编号设置更高权重，因为少量字符错误也可能改变业务含义。
- 将完全失败与部分错误分开；解析器无法打开文件不能被排除出平均值。
- 同时记录端到端结果：目标问题是否能检索到正确页面、引用是否能回到原文。
- 版本比较时固定硬件、并发、模型和参数，避免把环境变化误认为算法提升。
一套可复现的验收流程
- 从实际业务抽样并分类，确定哪些错误不可接受，哪些可以人工修正。
- 建立人工核对的参考结果；复杂表格和公式可只标注关键字段，控制标注成本。
- 固定产品版本、模型、硬件和并发，批量执行解析并保留状态、耗时和输出。
- 按文字、顺序、表格、公式、定位和失败率统计，单独查看困难样本。
- 在知识问答中使用一组真实问题验证召回与引用，确认解析结果不是“看起来有文字但无法使用”。
- 记录未通过样本与处置方案，作为升级回归集，避免后续版本修复一类问题却引入另一类退化。
为什么不承诺一个统一准确率
OCR 结果强烈依赖材料类型与指标定义。对清晰正文得出的单一准确率，不能代表跨页表格、公式或低清扫描件；不同厂商如果样本和统计方法不同，数字也不可直接比较。我们建议在项目中公开样本构成、失败数和验收口径，用客户真实材料得出可复现结论。