TeleOCR是什么

TeleOCR 是中国电信星辰实验室开源的文档解析模型，采用约 1.2B 参数轻量级视觉语言架构，在单一框架内统一处理数字文档与相机拍摄文档，可将文字、版面、表格、公式和科学图表解析为 Markdown、JSON 等结构化结果。TeleOCR 登顶 OmniDocBench v1.6 榜单，获 PureDocBench 榜首和 ICDAR-2026 科学图解析冠军，支持本地 GPU 部署，适用合同、论文、档案等结构化提取场景。

TeleOCR的主要功能

• 文字识别：高精度提取文档中的文本内容，数字文档识别准确率达 97.22。
• 版面分析：定位文字、表格、公式等元素在页面中的位置与层级关系。
• 表格解析：精确还原跨行跨列、单元格合并的复杂表格结构，TEDS 达 97.05。
• 公式解析：结构化解析公式语义与语法，实现符号级准确恢复，CDM 达 96.36。
• 科学图表解析：识别图表元素并提取数据，可转换论文柱状图为结构化表格（ICDAR-2026 冠军能力）。
• 拍摄文档处理：直接处理透视畸变、页面弯曲、阴影模糊等真实拍摄退化文档，无需独立去畸变模型。
• 结构化输出：结果可生成为 Markdown、JSON、表格、公式等格式，便于接入知识检索与业务系统。

TeleOCR的技术原理

• 统一视觉语言架构：TeleOCR 采用约 1.2B 参数的轻量级视觉语言模型，将数字文档与相机拍摄文档放入同一框架，端到端完成版面与内容解析，替代传统”版面检测→图像校正→识别”的串联流水线，避免误差累积。
• 几何感知建模：针对不规则页面形变，引入几何感知建模与曲率引导的 Douglas-Peucker 采样，显式学习文档边界与空间结构，使模型能直接处理弯曲、折叠和透视畸变页面。
• 数据工程闭环：数据体系覆盖生成、清洗、评估与优化：通过多节点共识投票筛选高置信伪标签；几何感知数据合成围绕旋转、畸变、弯曲构造样本；图像到图像自验证将解析结果重新渲染比对以自动纠错；渐进式清洗让高一致性样本进训练集、高分歧样本作难例优化，形成投票筛选—模型自训练闭环。
• 渐进式四阶段训练：训练按”视觉语言对齐→几何感知文档解析→内容-结构解耦学习→强化学习”推进，目标从基础感知过渡到精细理解。表格任务用 Structure-only强化行列结构理解，再用 Structure+Content 完成联合对齐；公式任务同样通过解耦学习语义与语法组织。

微信关注回复“开源”，加入AI开源项目交流群

如何使用TeleOCR

• 环境准备：安装 Python 3.10+ 并确保有支持 CUDA 的 GPU 环境。
• 拉取代码：执行 git clone https://github.com/caipeng328/TeleOCR.git 并进入目录。
• 创建环境：用 conda 创建名为 teleocr 的虚拟环境并激活。
• 安装依赖：运行 pip install -e . 安装项目依赖。
• 下载模型：通过 pip install modelscope 后用 modelscope 命令下载权重到本地 ./models/TeleOCR 目录。
• 准备目录：设置输入图片目录 IMAGE_SUB_PATH 和结果输出目录 RESULT_SAVE_PATH。
• 运行推理：执行 python infer.py，传入图片路径、结果路径、--use_async、--override、模型路径及后端参数。
• 选择后端：常规使用 vllm-engine，高并发批量处理可切换 vllm-async-engine。
• 设置版面模式：数字文档用 LAYOUT_MODE="Detection"，弯曲/退化拍摄页面切换为 "Segmentation"。
• 调优参数：按需调整 MAX_MODEL_LEN（上下文长度）、GPU_MEMORY_UTILIZATION（显存占用）、PDF_TOOLS（PDF 后端）和 MAX_PIXELS（单页最大像素数）。
• 获取结果：从输出目录读取解析后的 Markdown/JSON/表格等结构化结果，接入下游系统。

TeleOCR的核心优势

• 榜单成绩领先：OmniDocBench v1.6 总分 96.87 登顶，超越 MinerU2.5-Pro、PaddleOCR-VL-1.6、OvisOCR2 等专业模型。
• 参数轻量：仅约 1.2B 参数，降低本地部署门槛，适合私有化场景。
• 统一框架：数字文档与相机拍摄文档在同一模型内解析，无需为不同来源文档部署多套系统。
• 免前置去畸变：几何感知建模可直接处理弯曲、折叠、透视畸变页面，减少独立校正模块的误差累积。
• 结构化输出：直接输出 Markdown、JSON、表格、公式等可计算结果，便于接入知识检索与业务自动化。
• 复杂表格能力强：跨行跨列、单元格合并的复杂表格行列表系不乱、不串位，TEDS 达 97.05。
• 科学图解析夺冠：具备图表元素识别与数据提取能力，获 ICDAR-2026 科学图解析挑战赛冠军。
• 数据闭环高效：多节点共识投票与自验证机制构建千万级训练数据池，大部分生成数据无需人工标注。

TeleOCR的项目地址

• GitHub仓库：https://github.com/caipeng328/TeleOCR
• HuggingFace模型库：https://www.modelscope.cn/models/XingChen-AGI/TeleOCR
• arXiv技术论文：https://arxiv.org/pdf/2608.12898

TeleOCR的同类竞品对比

TeleOCR的应用场景