Docling 的 VLM 流水线与 Granite-Docling 详解

标准流水线与 VLM 流水线#

运行#

pip install "docling[vlm]"
docling convert report.pdf --pipeline vlm                       # 默认预设：granite_docling
docling convert report.pdf --pipeline vlm --vlm-model smoldocling
docling convert report.pdf --pipeline vlm --to html_split_page --show-layout

from docling.datamodel.base_models import InputFormat
from docling.datamodel.pipeline_options import VlmConvertOptions, VlmPipelineOptions
from docling.document_converter import DocumentConverter, PdfFormatOption
from docling.pipeline.vlm_pipeline import VlmPipeline

opts = VlmPipelineOptions()
opts.vlm_options = VlmConvertOptions.from_preset("granite_docling")

converter = DocumentConverter(format_options={
    InputFormat.PDF: PdfFormatOption(pipeline_cls=VlmPipeline, pipeline_options=opts)
})
doc = converter.convert("report.pdf").document
print(doc.export_to_markdown())

VlmConvertOptions.list_presets() 返回每个预设及其模型和说明；CLI 处理 --vlm-model 时调用的正是 from_preset()。

Granite-Docling-258M 简介#

• 开发者：IBM Research · 许可证：Apache 2.0 · 发布：2025 年 9 月 17 日。
• 架构：Idefics3 设计，视觉编码器为 siglip2-base-patch16-512，语言模型为 Granite 165M。
• 输出：DocTags——描述版面、文字、表格、代码、公式和图表的紧凑标记，可映射为 DoclingDocument。
• 语言：英语；日语、阿拉伯语和中文标注为实验性。
• 提示词：整页用 “Convert this page to docling.”；单个元素用简短指令，如 “Convert chart to table.”。

全部 22 个预设#

读取自 Docling 2.143.1 中的 VlmConvertOptions.list_presets()。标为“远程代码”的预设必须加 --trust-remote-code 才能运行——请先审阅模型代码。

“仅 MLX”等备注来自每个预设支持的推理引擎列表。各模型许可证不同——商用前请查看模型卡。

如何在标准流水线和 VLM 之间选择#

1. 先用标准流水线。它是默认选项是有原因的：快，原生数字 PDF 的文字准确，每个元素都有来源信息。
2. 目视检查结果。--to html_split_page --show-layout 会把每页原图和 Docling 提取的内容并排显示。
3. 对失败的页面试用 Granite-Docling。配合 --page-range 先测几页，再决定是否投入 GPU 时间。
4. 用你自己的文档比较。公开分数是别人文档上的平均值；你自己的十份文档更有参考价值。

图片描述与图表提取#

不必启用完整的 VLM 流水线也能用上视觉模型。标准流水线可以只对图片调用一个小型 VLM：

docling convert report.pdf --enrich-picture-description          # 为插图生成说明
docling convert report.pdf --enrich-chart-extraction             # 柱状图/饼图/折线图 → 表格
docling convert report.pdf --enrich-chart-extraction --chart-extraction-preset granite_vision_v4

2.143.1 中的图表提取预设：granite_vision_v3_3、granite_vision_v4（默认）和 granite_vision_v4_mlx。默认预设对应 IBM Granite-Vision-4.1-4B（ibm-granite/granite-vision-4.1-4b），granite_vision_v3_3 对应一个 2B 的图表转 CSV 模型——请准备 GPU 或 Apple Silicon。我们核对了这些预设名称（2.143.1），但没有在 CPU 测试机上实际运行图表提取。

常见问题

资料来源

• ibm-granite/granite-docling-258M 模型卡
• SmolDocling 论文（arXiv 2503.11576）——DocTags
• Docling 源码：VlmConvertOptions 预设（docling/datamodel）
• IBM 公告：Granite-Docling