Segmented Checkpointing¶

Segmented checkpointing は、全 block を checkpoint する設定と checkpoint なしの中間にある設定です。

PyTorch の activation checkpointing を使用します。SimpleTuner は連続する Transformer block のグループを1回の checkpoint 呼び出しで実行し、返された隠れ状態を次のグループに渡します。グループを大きくすると保存する境界状態は減りますが、逆伝播時には対象の block を再計算します。速度とピーク VRAM の関係は実測してください。

CPU offload と FFN-only checkpointing は Unsloth-style checkpointing を参照してください。短い判断基準は Decision Rule にあります。

Controls¶

{
  "gradient_checkpointing": true,
  "gradient_checkpointing_backend": "torch",
  "gradient_checkpointing_interval": 2
}

対応している whole-block path では、gradient_checkpointing_interval が segment width です。2 は blocks 0-1、2-3、4-5 を checkpoint します。

より細かく VRAM を制御するには stride を追加します:

{
  "gradient_checkpointing": true,
  "gradient_checkpointing_backend": "torch",
  "gradient_checkpointing_interval": 2,
  "gradient_checkpointing_segment_stride": 4
}

これは blocks 0-1 を checkpoint し、2-3 は通常実行、4-5 を checkpoint、6-7 は通常実行、という形で繰り返します。stride は interval 以上である必要があり、重複 schedule は無効です。

Segmented whole-block path 対応: Flux.1、Flux.2、Flux.3 Image Klein、HunyuanVideo、Krea 2、LongCat Image、LongCat Video、LTXVideo 0.9、LTXVideo2、Lumina2、MageFlow、MiniMax H3、PixArt、Qwen Image 2.1、SD3、SanaVideo、Z-Image、ZLab I1、Wan。

Stable Cascade stage C も interval と stride に対応していますが、schedule は transformer whole-block group ではなく UNet の Res/Timestep/Attention micro-block sequence に適用されます。

一部の family は古い semantics です:

stride が無視される family では stride 行を比較しないでください。数字が同じなら、多くの場合は option が効いていないだけです。

使う場面¶

通常の per-block checkpointing では fit するが step time が高すぎる場合に使います。まず 2 から始めてください。VRAM に余裕がある深いモデルでは 2 と stride 4 を試します。

peak の主因が trainable weights、optimizer state、validation、VAE caching、block swapping、routing の場合は効果を期待しないでください。モデル機能が per-block 制御を必要とする場合、SimpleTuner はより安全な per-block path に戻ります。

dynamo_use_regional_compilation は万能ではありません。一部の image model では有利または中立でしたが、下の Wan/RamTorch と LTXVideo2 profile では悪い結果でした。compile 設定も benchmark 条件として扱ってください。

Benchmarks¶

実際の SimpleTuner examples を使い、single-GPU H100/L40S pods で測定しました。validation と checkpoint saves は無効、cache preparation は除外、post-warmup timing がある場合は train loop 内の first-step compile/setup も除外しています。

測定済み cell は post-warmup sec/step / peak VRAM GiB です。status-only cell の意味は、OOM が GPU memory 不足、failed が measured training steps まで到達しなかった run、unsupported がその family に option が wired されていない状態、not run が sweep にその組み合わせがなかった状態です。

まず同じ family 内で mode を比較してください。family 間の比較は、resolution、frame count、attention backend、model depth、trainable adapter type、dataset shape が違うため、おおまかな目安です。

下の matrix がこの sweep の source of truth です。model-specific notes は、row が recommendation ではなく coverage data の場合に caveat を示します。

Family Sweep Results¶

ACE Step 1.5¶

Example: ace_step/v15-base/default/v1-5.peft-lora. Resolution: 512.

Note: This sweep did not produce a usable ACE Step throughput row. The status-only entries below should be treated as coverage gaps, not as a recommendation.

Anima 上の AnyFlow 蒸留¶

例: anima/base-v1.0/default/anyflow-stage1.peft-lora。解像度: 1024x1024。この行は Anima を使った AnyFlow 蒸留の測定で、通常の Anima LoRA 例ではありません。通常の 1024x1024 Anima 画像 training には anima/base-v1.0/default/peft-lora を使ってください。

AuraFlow¶

Example: auraflow/v0.3/default/peft-lora. Resolution: 1024x1024.

注記: AuraFlow は SDNQ と TorchAO 量子化に対応しています。量子化した none 行は下にあります。量子化 checkpoint 行は、新しい full-length benchmark で確認してから数値を入れます。

Boogu Image¶

Example: boogu_image/v0.1-base/default/peft-lora. Resolution: 1024x1024.

Chroma¶

Example: chroma/default/default/peft-lora. Resolution: 1024x1024.

Note: Checkpointed Chroma rows use attention_mechanism=native-efficient, which was the stable attention path for this sweep.

Cosmos 2 Image¶

Example: cosmos/default/default/lycoris-lokr. Resolution: 512x512.

Cosmos 3¶

Example: cosmos3/edge/24g/image.lycoris-lokr. Resolution: 1024 px.

ERNIE 4.5 Image¶

Example: ernie/base/default/peft-lora. Resolution: 512x512.

Flux.3 Image Klein¶

例: flux3_image/klein-base/default/peft-lora、Klein Base。学習設定: 512x512 中央クロップ、batch 1、rank/alpha 32 の attention LoRA、BF16 AdamW、native SDPA、regional Inductor compilation（default、C++ wrapper）。CREPA と assistant adapter は無効です。各測定行は 30 更新を実行し、step time から最初の 5 更新とキャッシュ準備を除外します。 VRAM は学習更新中の PyTorch peak allocated memory です。

データセット: RareConcepts/Domokun、27 枚。固定 caption: a photograph of a toy character（キャッシュされたテキストは 80 tokens）。

PyTorch 2.14.1+cu130; Diffusers 0.41.0; Transformers 5.20.1; PEFT 0.21.2; Accelerate 1.15.0; SDNQ 0.2.8; TorchAO 0.17.0+cu130. dynamo_dynamic=true.

画像、テキスト、参照画像、joint stream のブロック列はそれぞれ独立に分割します。interval2 は隣接する 2 ブロックをまとめて checkpoint し、seg2-stride4 は 2 ブロックを checkpoint して次の 2 ブロックの activations を保持します。Hidden-state capture は per-block path を使います。Attention activation offload は未対応です。

HeartMula¶

Example: heartmula/3b/default/peft-lora. Audio-token training.

HiDream¶

Example: hidream/full/default/peft-lora. Resolution: 512x512.

SDNQ Hadamard numbers use sdnq_compile_mode=eager. The compiled SDNQ path quantizes HiDream, but this sweep spent the first training step in Inductor dequantizer compilation, so it is not listed as a throughput row.

HunyuanVideo¶

Example: hunyuanvideo/t2v-480p/default/1.5-t2v.peft-lora. Training shape: 480 pixel-area video buckets, 48 frames, batch 2.

HunyuanVideo はこの training shape では activation が重いです。Per-block と interval-2 checkpointing は安定して入り、checkpointing なしは 80 GB H100 でも入りません。seg2-stride4 は attention activation offload を有効にした場合だけ入りましたが、速度向けではなくメモリ用の fallback です。SDNQ Hadamard は動きますが、conditioning shape が変わるため測定中にも dynamic kernel compilation が残ります。

Ideogram 4.0¶

Example: ideogram/fp8/default/peft-lora. Resolution: 1024x1024. fp8 flavour は Ideogram 4 の native weight-only fp8 checkpoint を使います (base_model_precision=no_change)。bf16-upcast は ideogram_fp8_base_upcast=true を設定し、ロード時に base weights を bf16 に dequantize します。他の base_model_precision（例: int8-sdnq）を指定した場合も先に dequantize されるため、quantizer は実際の weights に対して動作します。

このテーブルの以前の版は、Ideogram が gradient_checkpointing_interval、gradient_checkpointing_segment_stride、gradient_checkpointing_backend を反映する前（custom loader が共有の wiring をスキップしていた）、かつ int8-sdnq が fp8 checkpoint を実際に quantize する前に測定されたものです — すべての checkpointing 行は、実際には fp8-native weights に対する full-layer torch checkpointing でした。以下の H100 の数値は修正後のもので、L40S 行は再測定待ちです。

torch-ffn/unsloth-ffn backend は unsupported です。Ideogram 4 は attention/FFN の checkpointing 境界を公開していません。

まとめ: seg2-stride4 は full-layer より約 14% 速く、保持される activations は約 24 GiB 増えます。unsloth offload は約 1.2 GiB を節約し、step time のコストは 1-3% です（int8 full-layer では offload が quantized matmul とオーバーラップするため torch より速くなります）。VRAM に余裕があれば bf16-upcast が throughput の勝者です。

Kandinsky 5 Image¶

Example: kandinsky5_image/default/default/6b-t2i.lycoris-lokr. Resolution: 1024x1024.

Note: batch 3 at 1024x1024 needs full checkpointing on both cards. SDNQ with Hadamard is the best low-VRAM row; H100 can also use partial checkpointing with SDNQ, but only near the top of the card.

Kandinsky 5 Video¶

Example: kandinsky5_video/default/default/2b-t2v.peft-lora. Resolution: 768x512, 81f.

Kandinsky 5 video is activation-heavy at this frame count. Full block checkpointing is the practical baseline on both cards. On H100, interval2 and seg2-stride4 are faster when they fit; on L40S, SDNQ interval2 is the only partial-checkpoint row here that fits without attention activation offload.

Kolors¶

Example: kolors/1.0/default/peft-lora. Resolution: 1024x1024.

Krea 2¶

例: krea2/raw/default/peft-lora。学習解像度: 512 px square crop。例の validation 設定: 1024x1024。benchmark では validation は無効です。

メイン表は regional compilation を使っています。Krea2 の step speed には有利ですが、VRAM 比較としてはきれいではありません。compiled graph/workspace により、いくつかの checkpoint mode で peak が未 checkpoint の peak に近く残ります。regional compilation を無効にした bf16 control run では、checkpointing が正しく接続され、期待通りの memory/speed 形になりました:

ここでの activation-offload 行は、full-block checkpointing に attention activation offload を足したものです。full-block layer checkpointing 単体と比べると、この Krea2 shape では attention offload は peak VRAM を下げず、主に CPU transfer overhead を増やしました。

LongCat Image¶

例: longcat_image/default/default/peft-lora。Training resolution: 512 px square; validation resolution: 1024x1024. Rows use attention_mechanism=native-flash.

LongCat Video¶

例: longcat_video/final/default/peft-lora+ramtorch。Resolution: 832x480, 81f。各行は attention_mechanism=native-flash を使用。

LongCat Video はこの shape では activation が重いです。Full per-block checkpointing が実用的な行です。Partial checkpoint 行（interval2、seg2-stride4）はここでは入りません。strided 行に attention activation offload を足しても不足します。通常の attention activation offload は bf16 と SDNQ では入りますが、full checkpointing よりかなり遅くなります。

LTXVideo 0.9.5¶

Example: ltxvideo/0.9.5/default/t2v.peft-lora. Resolution: 768x512, 49f.

数字は warm seconds/step / peak GiB です。full-run average は setup と compile overhead を含むため、sweep artifacts に記録しています。

Attention activation offload rows は、この sweep の LTXVideo 0.9 では非対応です。

LTXVideo2 2.3¶

Example: ltxvideo2/2.3-dev/default/720p-single-gpu.peft-lora+sdnq-hadamard. Resolution: 1280x704, 49f.

Note: LTXVideo2 2.3 should be read from the no-regional-compile rows in this sweep; regional compile raised memory pressure for this model.

Lumina2¶

Example: lumina2/default/default/peft-lora. Resolution: 512x512.

注記: Lumina2 は segmented whole-block path を使うようになりました。interval2 は 2-block segment ごとに checkpoint し、seg2-stride4 は 2 blocks を checkpoint、次の 2 blocks は activations を保持して実行し、それを繰り返します。Attention activation offload はこの Lumina2 run には含めていません。

MageFlow¶

Example: mageflow/turbo/24g/image.peft-lora. Resolution: 1024x1024.

Note: MageFlow の 1024px variable-shape image path では、主に attention activation offload と weight-only FP8 が効きました。Block checkpointing mode は有効ですが、この sweep では measured peak residency は下がりませんでした。

OmniGen¶

Example: omnigen/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: OmniGen は cached text embeddings ではなく token-ID prompt を使います。この行は、対応済みの no-checkpointing と full-block torch checkpointing path を測定したものです。interval、segmented-stride、attention-offload controls は、この family ではこの sweep 時点で未実装です。

PixArt¶

Example: pixart/default/default/lycoris-lokr. Resolution: 1024x1024.

Qwen Image 2.1¶

GPU 型番を確認した H200 と L40S で測定しました。qwen_image/v2.1/default/peft-lora、Qwen-Image 2.1、512x512 の Domokun、BF16、rank-32 LoRA、Optimi Lion、regional Inductor compilation（default モード）を使用しています。各実行は20ステップで、最初の5ステップを計時から除外します。各セルは 秒/ステップ / ピーク VRAM GiB で、ピークにはコンポーネントの初期化も含まれます。

実行環境: torch==2.11.0+cu128、diffusers==0.40.0。テキスト10 token、画像1024 token です。batch 1 の一部のメモリピークはコンポーネント初期化で決まります。

BF16 checkpoint スケジュール¶

none は checkpoint を無効化し、layer は各 block を個別に checkpoint します。interval2 は連続する 0–1, 2–3, … をグループ化します。seg2-stride4 は 0–1 を checkpoint し、2–3 の activation を保持して繰り返します。グループ実行では block swapping、隠れ状態の取得、KV cache を使用しません。これらの経路では block ごとの interval/stride 制御を維持します。attention activation offload（activation-offload、seg2-stride4-offload）は非対応です。BF16 で収まるため、この 2.1 測定には量子化を含めていません。

attention backend¶

attention の比較では checkpoint を無効化します。native SDPA は H200 で cuDNN、L40S で PyTorch Flash SDPA を選択しました。Qwen 2.1 はテキストに因果 attention、対象画像に全有効 key への非因果 attention を使用します。同じ長さで padding のないプロンプトに varlen は不要です。現在の FlashAttention 経路は padding のない text-to-image プロンプトが必要です。padding や交互に配置する条件には native SDPA または FlexAttention を使ってください。padding だけを表す varlen mask では、その因果構造を保持できません。

等長 varlen のメタデータ補助関数を上流 Diffusers から導入しました。長さは形状から取得し、累積オフセットを arange で作ることで、リリース版の GPU .item() 同期と graph break を除去します。全要素が有効な冗長 mask は collate 時に除去します。前向き・勾配の同等性とグラフ取得は計時とは別に検証します。

attention_mechanism: "cudnn" の強制指定は PyTorch 2.11 Inductor で CantSplit エラーになりましたが、native SDPA の自動選択では cuDNN が動作しました。FA4 Hub は nvidia-cutlass-dsl==4.7.1 で cutlass.cute.core.ThrMma が見つからず、読み込みに失敗したため計時結果はありません。Hub backend は trust_remote_code: true を使用します。FA3 は Hopper 向けで、L40S では使えません（上流の対応環境）。

H200 の batch 拡大¶

同じ H200 で native SDPA は batch 10 で 0.612 秒、batch 20 で 1.223 秒となり、どちらも約 16.35 画像/秒です。スループットが頭打ちになった後は、batch を倍にすると計算量もほぼ倍になります。144 GB プリセットは checkpoint を無効にしたままです。大きい batch は追加容量を利用しますが、画像/秒の増加を保証しません。

キャッシュ済み Domokun 入力による全 transformer の検証では、冗長 mask の有無で FP32 出力が完全に一致し、勾配の相対 L2 誤差は 1.97e-6 でした。BF16 backend は数値的に同一ではありません。この1 batch では、FP32 に対する LoRA 勾配全体のコサイン類似度は native SDPA で約 0.92–0.93、FA3 で約 0.80 でした。これは数値診断であり、収束性の比較ではありません。

H200 batch 20 の trace では、記録区間の 93.1% で kernel が実行されていました。kernel 時間の 70.5% が GEMM、9.7% が attention です。Inductor は normalization/RoPE と要素単位の epilogue を融合済みです。最大の空き時間は batch 準備付近にありました。kernel の実行時間比率は SM occupancy ではなく、profiler の時間はスループット表に使用していません。

この27画像のデータセットでは batch 20 の prefetch は遅くなりました。queue length 2 で host prefetch は平均 2.030 秒/ステップ、device prefetch（閾値 1 MiB）は 2.036 秒で、無効時は 1.223 秒でした。中央値は約 1.17 秒でも周期的に約3秒のステップがあり、プリセットでは無効のままです。

250 step の Domokun 設定はスループット測定用であり、安定した収束を保証するレシピではありません。以前の checkpoint は再ロード後に認識可能な Domokun を生成しましたが、新規の 250 step 学習では再現できませんでした。padding mask の保持、コンパイルの無効化、以前の RoPE 式への復元でも改善しませんでした。キャッシュ latent のデコードでは正しい被写体を確認しています。学習品質低下の原因は未解決で、時間の表は attention backend 間の画質の同等性を示すものではありません。

Qwen Image¶

以下は旧版の qwen_image/v2.1/default/peft-lora サンプルを使った Qwen-Image 1.0（model_flavour: "v1.0"）の過去の測定値です。解像度は 1024x1024 です。現在のサンプルは 2.1 を選択します。ほぼ同じ interval/stride の値だけでは異なるスケジュールが有効だったとは確認できず、2.1 の設定の根拠にはできません。

Sana¶

Example: sana/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: Sana has interval checkpointing; stride is not a separate segmented schedule for this family in the measured rows.

SanaVideo¶

Example: sanavideo/2b-480p/default/peft-lora. Resolution: 832x480, 49f.

Note: SanaVideo は linear attention を使うため、attention activation offload は未対応です。標準 path では segmented whole-block checkpointing に対応しています。

SD 1.x¶

Example: sd1x/dreamshaper/default/peft-lora. Resolution: 512x512.

Note: SD1x は diffusers UNet path を使います。通常の layer checkpointing は supported ですが、interval と segmented stride controls はこの family では未接続です。

SD3¶

Example: sd3/default/default/peft-lora. Resolution: 1024x1024.

Note: SD3 は plain transformer path で real contiguous segmented checkpointing を使います。Attention activation offload も supported です。VRAM は大きく下がりますが、throughput は落ちます。

SDXL¶

Example: sdxl/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: SDXL has real layer checkpointing. Interval and stride rows are included as coverage data, not as segmented-support recommendations.

Stable Cascade¶

Example: stable_cascade/default/default/stage-c.lycoris-lokr. Resolution: 1024x1024.

注記: stage C は full precision の prior path です。これらの行は mixed_precision=no と base_model_precision=no_change で実行しました。量子化 base precision 行はこのモデルでは有用な測定ではありません。interval と stride は UNet の Res/Timestep/Attention micro-block sequence に適用されます。

Wan 2.1 T2V 1.3B¶

Example: wan/t2v-480p-1.3b-2.1/default/t2v-1.3b-480p-single-gpu.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan 1.3B should be read from the no-regional-compile/RamTorch rows; regional compile was not a useful throughput setting in this sweep.

Wan 2.1 T2V 14B¶

Example: wan/t2v-480p-14b-2.1/default/t2v-14b-480p-single-gpu.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan 14B is mainly a fit test for activation savings. Status-only cells are still useful because they show which combinations reached the memory limit.

Wan S2V¶

Example: wan_s2v/s2v-14b-2.2/default/14b-480p.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan S2V is included as coverage data for the video/audio path. Treat failed cells as implementation coverage gaps.

Z-Image Turbo¶

Example: z_image/turbo/default/peft-lora. Resolution: 1024x1024.

ZLab I1¶

Example: zlab_i1/3b/default/peft-lora. Resolution: 1024x1024.

注記: ZLab I1 は U-Net 風の skip tensors を segmented checkpoint state に入れて運びます。この family では attention activation offload は未接続です。