Unlimited-OCR是什么

Unlimited-OCR 是百度推出的端到端长文档 OCR 模型，通过 Reference Sliding Window Attention机制将解码器 KV cache 从线性增长压缩为常数，实现单次前向转录数十页文档。模型基于 3B 总参 MoE 架构，在 OmniDocBench v1.6 上以 93.92% 总分取得端到端 SOTA，推理速度达 5580 TPS，代码与权重已全面开源。

Unlimited-OCR的主要功能

• 超长文档一次识别：支持 2 页至 40+ 页 PDF 文档的单次前向转录，无需逐页 for 循环处理。
• 多类型文档解析：覆盖 PPT、学术论文、书籍、彩色教材、试卷、杂志、报纸、笔记、研究报告等 9 类版式。
• 高精度内容提取：文本、公式、表格、阅读顺序全链路端到端输出，公式 CDM 达 95.79%，表格 TEDS 达 93.32%。
• 双分辨率视觉编码：Base 模式 1024×1024 用于多页长文档，Gundam 模式动态分辨率用于单页高精度识别。
• 常数延迟推理：无论输出序列多长，KV cache 恒定为 m+n，推理延迟与显存占用保持水平稳定。

Unlimited-OCR的技术原理

• R-SWA 注意力机制：每个生成 token 仅关注全部参考 token（视觉+提示词）和最近 128 个输出 token，视觉 token 被排除在滑动窗口状态转移之外，避免长程生成中视觉特征被逐步糊化。
• 常数 KV Cache 设计：将 KV cache 实现为容量 m+n 的队列，每生成一个新 token 即淘汰第 (m+1) 个 token，计算成本与内存占用不随序列长度递增。
• DeepEncoder 视觉编码：沿用 SAM-ViT 级联 CLIP-ViT 架构，通过 bridge 层做 16 倍 token 压缩，1024×1024 图像压缩为 256 个视觉 token，编码一次后冻结。
• MoE-LLM 解码器：3B 总参、500M 激活的 MoE 架构，全部注意力层替换为 R-SWA，基于 DeepSeek-OCR checkpoint 续训 4000 步，全局 batch 256，最大序列 32K。
• 推理引擎优化：在 Transformers 与 SGLang 中均实现常数 TPS 与常数显存的 KV cache 管理，Flash Attention v3 内核下 per-call 延迟全程水平。

微信关注回复 “开源”，加入AI开源项目交流群

如何使用Unlimited-OCR

• 模型下载：通过 Hugging Face baidu/Unlimited-OCR 或 GitHub baidu/Unlimited-OCR 获取代码与权重。
• 环境准备：支持 Transformers 库与 SGLang 推理引擎，需配置对应 GPU 环境。
• 输入格式：支持 PDF 页面图像输入，Base 模式用于多页长文档，Gundam 模式用于单页高分辨率识别。
• 推理调用：单次前向即可完成整本/整份文档的 OCR 转录，无需外部调度器分页处理。
• 扩展应用：R-SWA 机制可迁移至 ASR、翻译、字幕生成等长输出任务。

Unlimited-OCR的核心优势

• SOTA 识别精度：OmniDocBench v1.5 总分 93.23%，v1.6 总分 93.92% 端到端第一。
• 常数资源占用：KV cache 不随文档页数增长，20 页、40+ 页长文档显存与延迟保持稳定。
• 速度随长度放大：输出越长优势越明显，6144 token 时理论 TPS 上限较 DeepSeek-OCR 领先约 35%。
• 通用解码架构：R-SWA 非 OCR 专属 trick，适用于任何”参考源+长输出”的生成任务。
• 轻量开源：3B 总参、500M 激活，模型与代码已开源，便于部署与二次开发。

Unlimited-OCR的项目地址

• GitHub仓库：https://github.com/baidu/Unlimited-OCR
• HuggingFace模型库：https://github.com/baidu/Unlimited-OCR

Unlimited-OCR的同类竞品对比

Unlimited-OCR的应用场景

• 企业档案数字化：批量处理成百上千页扫描版 PDF、古籍、合订本，无需拆分即可一次性结构化提取。
• 学术文献解析：整本论文、期刊合辑、研究报告的端到端转录，保留公式、表格与阅读顺序。
• 教育试卷批改：多页试卷、练习册的批量识别，支持彩色教材与复杂版式。
• 法律合同审核：长篇幅合同文本的精准 OCR 提取，用于后续 NLP 分析与合规审查。
• 多语言翻译流水线：作为 R-SWA 通用解码方案的验证场景，可扩展至 ASR、字幕生成等长序列任务。