Docling の VLM パイプラインと Granite-Docling を解説

標準パイプラインと VLM パイプライン#

実行する#

pip install "docling[vlm]"
docling convert report.pdf --pipeline vlm                       # 既定のプリセット：granite_docling
docling convert report.pdf --pipeline vlm --vlm-model smoldocling
docling convert report.pdf --pipeline vlm --to html_split_page --show-layout

from docling.datamodel.base_models import InputFormat
from docling.datamodel.pipeline_options import VlmConvertOptions, VlmPipelineOptions
from docling.document_converter import DocumentConverter, PdfFormatOption
from docling.pipeline.vlm_pipeline import VlmPipeline

opts = VlmPipelineOptions()
opts.vlm_options = VlmConvertOptions.from_preset("granite_docling")

converter = DocumentConverter(format_options={
    InputFormat.PDF: PdfFormatOption(pipeline_cls=VlmPipeline, pipeline_options=opts)
})
doc = converter.convert("report.pdf").document
print(doc.export_to_markdown())

VlmConvertOptions.list_presets() はすべてのプリセットとそのモデル・説明を返します。CLI が --vlm-model で呼ぶのはまさに from_preset() です。

Granite-Docling-258M の概要#

• 開発：IBM Research · ライセンス：Apache 2.0 · 公開：2025 年 9 月 17 日。
• アーキテクチャ：Idefics3 の設計で、視覚エンコーダーは siglip2-base-patch16-512、言語モデルは Granite 165M。
• 出力：DocTags——レイアウト、テキスト、表、コード、数式、グラフを表す簡潔なマークアップで、DoclingDocument に対応付けられます。
• 言語：英語。日本語・アラビア語・中国語は実験的とされています。
• プロンプト：ページ全体は “Convert this page to docling.”、個別の要素は “Convert chart to table.” のような短い指示。

全 22 プリセット#

Docling 2.143.1 の VlmConvertOptions.list_presets() から取得。「リモートコード」のプリセットは --trust-remote-code を付けたときだけ動きます。先にモデルのコードを確認してください。

「MLX のみ」などの備考は各プリセットの対応推論エンジンの一覧によります。ライセンスはモデルごとに異なるため、商用利用の前にモデルカードを確認してください。

標準と VLM の選び方#

1. まず標準パイプライン。既定なのには理由があります。高速で、デジタル生成 PDF の文字が正確で、すべての要素に出典情報が付きます。
2. 結果を目で確認。--to html_split_page --show-layout で各ページと Docling の抽出結果が横に並びます。
3. うまくいかないページで Granite-Docling を試す。--page-range と組み合わせて数ページで試してから GPU 時間を使いましょう。
4. 自分の文書で比較する。公開スコアは他人の文書での平均です。自分の文書 10 本のほうが多くを教えてくれます。

画像の説明とグラフの抽出#

視覚モデルを使うのに VLM パイプライン全体は要りません。標準パイプラインから、画像に対してだけ小さな VLM を呼び出せます：

docling convert report.pdf --enrich-picture-description          # 図のキャプションを生成
docling convert report.pdf --enrich-chart-extraction             # 棒・円・折れ線グラフ → 表
docling convert report.pdf --enrich-chart-extraction --chart-extraction-preset granite_vision_v4

2.143.1 のグラフ抽出プリセット：granite_vision_v3_3・granite_vision_v4（既定）・granite_vision_v4_mlx。既定は IBM Granite-Vision-4.1-4B（ibm-granite/granite-vision-4.1-4b）、granite_vision_v3_3 は 2B のグラフ→CSV モデルです。GPU か Apple Silicon を用意してください。プリセット名は 2.143.1 で確認しましたが、CPU のテストマシンではグラフ抽出を実行していません。

よくある質問

出典

• ibm-granite/granite-docling-258M モデルカード
• SmolDocling 論文（arXiv 2503.11576）——DocTags
• Docling ソースコード：VlmConvertOptions プリセット（docling/datamodel）
• IBM の発表：Granite-Docling