分段 Checkpointing¶

分段 checkpointing 介于每个 block 都 checkpoint 和完全不 checkpoint 之间。

它使用 PyTorch 的 activation checkpointing。SimpleTuner 在一次 checkpoint 调用中执行一组连续的 Transformer block，并将返回的隐藏状态传给下一组。更大的分组保存更少的边界状态，但反向传播仍需重新计算这些 block；速度和峰值显存的取舍需要实测。

CPU offload 和 FFN-only checkpointing 请看 Unsloth-style checkpointing。简短判断规则仍在 Decision Rule。

控制项¶

{
  "gradient_checkpointing": true,
  "gradient_checkpointing_backend": "torch",
  "gradient_checkpointing_interval": 2
}

在支持 whole-block 的路径上，gradient_checkpointing_interval 是 segment 宽度。2 表示 checkpoint blocks 0-1、2-3、4-5，依此类推。

如果需要更细的 VRAM 控制，可以加 stride：

{
  "gradient_checkpointing": true,
  "gradient_checkpointing_backend": "torch",
  "gradient_checkpointing_interval": 2,
  "gradient_checkpointing_segment_stride": 4
}

这会 checkpoint blocks 0-1，正常运行 2-3，checkpoint 4-5，正常运行 6-7，然后重复。stride 必须大于等于 interval；不支持重叠 schedule。

支持 segmented whole-block 的路径：Flux.1、Flux.2、Flux.3 Image Klein、HunyuanVideo、Krea 2、LongCat Image、LongCat Video、LTXVideo 0.9、LTXVideo2、Lumina2、MageFlow、MiniMax H3、PixArt、Qwen Image 2.1、SD3、SanaVideo、Z-Image、ZLab I1 和 Wan。

Stable Cascade stage C 也支持 interval 和 stride，但 schedule 作用在 UNet 的 Res/Timestep/Attention micro-block 序列上，而不是 transformer whole-block group。

一些 model family 使用旧语义：

不要比较 stride 被忽略的 family 的 stride 行。如果数字完全一样，通常是 option 没生效，不是有用的性能结果。

什么时候使用¶

当普通 per-block checkpointing 能 fit 但 step time 太高时使用。先从 2 开始。如果 VRAM 允许，在很深的模型上试 2 + stride 4。

当 peak 主要来自可训练权重、optimizer state、validation、VAE cache、block swapping 或 routing 时，不要期待它有帮助。当模型特性需要 per-block 控制时，SimpleTuner 会回到更稳的 per-block 路径。

dynamo_use_regional_compilation 不是通用加速。它在一些 image model 上有帮助或基本中性，但在下面的 Wan/RamTorch 和 LTXVideo2 profile 里效果很差。compile 设置也要当作 benchmark 条件。

Benchmarks¶

使用真实 SimpleTuner examples，在单卡 H100、H200 和 L40S pods 上测量。validation 和 checkpoint saves 已关闭，cache preparation 不计入；存在 post-warmup timing 时，也会排除 train loop 内第一个 step 的 compile/setup 时间。

每个实测单元格都是 post-warmup sec/step / peak VRAM GiB。只有状态的单元格含义是：OOM 表示 GPU 显存不足，failed 表示没有到达可统计的训练 step，unsupported 表示该 family 没有接入这个选项，not run 表示 sweep 没有覆盖这个组合。

优先在同一个 family 内比较不同 mode。跨 family 比较只能作为粗略参考，因为 resolution、frame count、attention backend、model depth、trainable adapter type 和 dataset shape 都可能不同。

下面的矩阵是这个 sweep 的唯一数据源。model-specific notes 会说明某些行只是覆盖情况数据，而不是推荐配置。

Family Sweep Results¶

ACE Step 1.5¶

Example: ace_step/v15-base/default/v1-5.peft-lora. Resolution: 512.

Note: This sweep did not produce a usable ACE Step throughput row. The status-only entries below should be treated as coverage gaps, not as a recommendation.

基于 Anima 的 AnyFlow 蒸馏¶

示例：anima/base-v1.0/default/anyflow-stage1.peft-lora。分辨率：1024x1024。此行测量的是使用 Anima 的 AnyFlow 蒸馏，不是普通 Anima LoRA 示例。普通 1024x1024 Anima 图像训练请使用 anima/base-v1.0/default/peft-lora。

AuraFlow¶

Example: auraflow/v0.3/default/peft-lora. Resolution: 1024x1024.

说明：AuraFlow 支持 SDNQ 和 TorchAO 量化。下表包含量化的 none 行；量化 checkpoint 行需要新的完整 benchmark 覆盖后再填写数值。

Boogu Image¶

Example: boogu_image/v0.1-base/default/peft-lora. Resolution: 1024x1024.

Chroma¶

Example: chroma/default/default/peft-lora. Resolution: 1024x1024.

Note: Checkpointed Chroma rows use attention_mechanism=native-efficient, which was the stable attention path for this sweep.

Cosmos 2 Image¶

Example: cosmos/default/default/lycoris-lokr. Resolution: 512x512.

Cosmos 3¶

Example: cosmos3/edge/24g/image.lycoris-lokr. Resolution: 1024 px.

ERNIE 4.5 Image¶

Example: ernie/base/default/peft-lora. Resolution: 512x512.

Flux.3 Image Klein¶

示例：flux3_image/klein-base/default/peft-lora，Klein Base。训练设置：512x512 中心裁剪，batch 1，rank/alpha 32 的注意力 LoRA，BF16 AdamW，原生 SDPA，区域 Inductor 编译（default，C++ wrapper）。关闭 CREPA 和助手适配器。每个测量行运行 30 次更新；每步耗时不计前五次更新和缓存准备。 VRAM 为 PyTorch 在训练更新期间分配内存的峰值。

数据集：RareConcepts/Domokun，27 张图像。固定 caption：a photograph of a toy character（缓存文本长度为 80 tokens）。

PyTorch 2.14.1+cu130; Diffusers 0.41.0; Transformers 5.20.1; PEFT 0.21.2; Accelerate 1.15.0; SDNQ 0.2.8; TorchAO 0.17.0+cu130. dynamo_dynamic=true.

图像、文本、参考图像以及联合流的块序列分别分段。interval2 对相邻的两个块一起 checkpoint；seg2-stride4 对两个块 checkpoint，随后两个块保留激活。隐藏状态捕获使用逐块路径。不支持 attention activation offload。

HeartMula¶

Example: heartmula/3b/default/peft-lora. 音频 token 训练。

HiDream¶

Example: hidream/full/default/peft-lora. Resolution: 512x512.

SDNQ Hadamard numbers use sdnq_compile_mode=eager. The compiled SDNQ path quantizes HiDream, but this sweep spent the first training step in Inductor dequantizer compilation, so it is not listed as a throughput row.

HunyuanVideo¶

Example: hunyuanvideo/t2v-480p/default/1.5-t2v.peft-lora. Training shape: 480 pixel-area video buckets, 48 frames, batch 2.

HunyuanVideo 在这个 training shape 下 activation 压力很高。Per-block 和 interval-2 checkpointing 都能稳定运行；不开 checkpointing 时 80 GB H100 也放不下。seg2-stride4 在本轮 sweep 中只有启用 attention activation offload 才能跑通，这一行更适合作为内存 fallback，而不是速度推荐。SDNQ Hadamard 可以工作，但可变 conditioning shape 仍会在测量窗口内触发 dynamic kernel compilation。

Ideogram 4.0¶

示例：ideogram/fp8/default/peft-lora。分辨率：1024x1024。fp8 flavour 使用 Ideogram 4 的原生 weight-only fp8 checkpoint（base_model_precision=no_change）；bf16-upcast 会设置 ideogram_fp8_base_upcast=true，在加载时把 base weights dequantize 成 bf16。请求任何其他 base_model_precision（例如 int8-sdnq）也会先 dequantize，让 quantizer 作用在真实 weights 上。

此表早先的版本是在 Ideogram 尚未生效 gradient_checkpointing_interval、gradient_checkpointing_segment_stride 或 gradient_checkpointing_backend（它的自定义 loader 跳过了共享的接入），并且 int8-sdnq 尚未真正 quantize fp8 checkpoint 之前测得的 —— 所有 checkpointing 行实际上都在悄悄地对 fp8-native weights 做 full-layer torch checkpointing。下面的 H100 数字是修复后的；L40S 行等待重新测量。

torch-ffn/unsloth-ffn backend 不支持：Ideogram 4 没有暴露 attention/FFN 的 checkpointing 边界。

要点：seg2-stride4 比 full-layer 快约 14%，代价是多保留约 24 GiB 的 activations；unsloth offload 节省约 1.2 GiB，step 时间开销为 1-3%（在 int8 full-layer 下它比 torch 更快，因为 offload 与 quantized matmul 重叠执行）；VRAM 允许时 bf16-upcast 是吞吐量赢家。

Kandinsky 5 Image¶

Example: kandinsky5_image/default/default/6b-t2i.lycoris-lokr. Resolution: 1024x1024.

Note: batch 3 at 1024x1024 needs full checkpointing on both cards. SDNQ with Hadamard is the best low-VRAM row; H100 can also use partial checkpointing with SDNQ, but only near the top of the card.

Kandinsky 5 Video¶

Example: kandinsky5_video/default/default/2b-t2v.peft-lora. Resolution: 768x512, 81f.

Kandinsky 5 video is activation-heavy at this frame count. Full block checkpointing is the practical baseline on both cards. On H100, interval2 and seg2-stride4 are faster when they fit; on L40S, SDNQ interval2 is the only partial-checkpoint row here that fits without attention activation offload.

Kolors¶

Example: kolors/1.0/default/peft-lora. Resolution: 1024x1024.

Krea 2¶

示例：krea2/raw/default/peft-lora。训练分辨率：512 px 方形裁剪。示例验证设置：1024x1024；benchmark 中已禁用 validation。

主表使用 regional compilation；它对 Krea2 step speed 有帮助，但不是干净的 VRAM 对比。compiled graph/workspace 会让几个 checkpoint 模式的峰值接近未 checkpoint 的峰值。关闭 regional compilation 的 bf16 control run 显示 checkpointing 已接通，并呈现预期的 memory/speed 形态：

这里的 activation-offload 行表示 full-block checkpointing 加 attention activation offload。和单独的 full-block layer checkpointing 相比，attention offload 在这个 Krea2 shape 下没有降低 peak VRAM，主要增加了 CPU transfer overhead。

LongCat Image¶

示例：longcat_image/default/default/peft-lora。训练分辨率：512 px 正方形；验证分辨率：1024x1024。各行使用 attention_mechanism=native-flash。

LongCat Video¶

示例：longcat_video/final/default/peft-lora+ramtorch。分辨率：832x480，81f。各行使用 attention_mechanism=native-flash。

LongCat Video 在这个 shape 下 activation 压力很高。Full per-block checkpointing 是实际可用的基线。Partial checkpoint 行（interval2、seg2-stride4）在这里放不下；即使 strided 行启用 attention activation offload 也不够。单独的 attention activation offload 可让 bf16 和 SDNQ 跑通，但明显慢于 full checkpointing。

LTXVideo 0.9.5¶

Example: ltxvideo/0.9.5/default/t2v.peft-lora. Resolution: 768x512, 49f.

数字是 warm seconds/step / peak GiB。完整运行平均值包含 setup 和 compile overhead，保存在 sweep artifacts 里。

这个 sweep 中，LTXVideo 0.9 不支持 attention activation offload rows。

LTXVideo2 2.3¶

Example: ltxvideo2/2.3-dev/default/720p-single-gpu.peft-lora+sdnq-hadamard. Resolution: 1280x704, 49f.

Note: LTXVideo2 2.3 should be read from the no-regional-compile rows in this sweep; regional compile raised memory pressure for this model.

Lumina2¶

Example: lumina2/default/default/peft-lora. Resolution: 512x512.

说明：Lumina2 现在使用 segmented whole-block 路径。interval2 会 checkpoint 每个 two-block segment；seg2-stride4 会 checkpoint 两个 blocks，让接下来的两个 blocks 保留 activations，然后重复。Attention activation offload 不在这次 Lumina2 run 中。

MageFlow¶

Example: mageflow/turbo/24g/image.peft-lora. Resolution: 1024x1024.

说明：MageFlow 的 1024px 可变形状图像路径主要受益于 attention activation offload 和 weight-only FP8。Block checkpointing 模式是可用的，但在本轮 sweep 中没有降低测得的峰值驻留显存。

OmniGen¶

Example: omnigen/default/default/lycoris-lokr. Resolution: 1024x1024.

说明：OmniGen 使用 token-ID prompt，而不是缓存的文本 embedding。这里测的是已支持的无 checkpoint 和整 block torch checkpointing 路径；interval、segmented-stride 和 attention-offload 控制在本次 sweep 中尚未为这个 family 实现。

PixArt¶

Example: pixart/default/default/lycoris-lokr. Resolution: 1024x1024.

Qwen Image 2.1¶

在确认型号的 H200 和 L40S 上测量：qwen_image/v2.1/default/peft-lora、Qwen-Image 2.1、512x512 Domokun、BF16、rank-32 LoRA、Optimi Lion，以及区域 Inductor 编译（default 模式）。每次运行 20 步，计时排除前 5 步。表格单元格为 秒/步 / 峰值显存 GiB，峰值包含组件初始化。

运行环境：torch==2.11.0+cu128、diffusers==0.40.0；10 个文本 token 和 1024 个图像 token。部分 batch-1 显存峰值由组件初始化决定。

BF16 checkpoint 调度¶

none 关闭 checkpoint；layer 对每个 block 单独 checkpoint；interval2 对连续的 0–1, 2–3, … 分组 checkpoint；seg2-stride4 checkpoint 0–1、保留 2–3 的激活，然后重复。分组执行要求不使用 block swapping、隐藏状态捕获或 KV cache；这些路径保留逐 block 的 interval/stride 调度。不支持注意力激活卸载（activation-offload、seg2-stride4-offload）。BF16 已能容纳，因此本次 2.1 测试不包含量化。

注意力后端¶

注意力比较关闭 checkpoint。默认 native SDPA 在 H200 上选择 cuDNN，在 L40S 上选择 PyTorch Flash SDPA。Qwen 2.1 对文本使用因果注意力，对目标图像使用可访问所有有效 key 的非因果注意力。长度相同且无 padding 的提示词不需要 varlen。当前 FlashAttention 路径要求无 padding 的文生图提示词；有 padding 或交错条件时使用 native SDPA 或 FlexAttention。仅表示 padding 的 varlen mask 无法保留后者的因果结构。

等长 varlen 元数据辅助函数来自上游 Diffusers：序列长度从形状获取，累积偏移使用 arange，消除了发布版辅助函数中的 GPU .item() 同步及 graph break。在 collate 阶段移除全有效的冗余 mask。前向、梯度等价性与图捕获测试独立于计时进行。

强制 attention_mechanism: "cudnn" 在 PyTorch 2.11 Inductor 中触发 CantSplit 错误；自动 native SDPA 仍能正常使用 cuDNN。FA4 Hub 在 nvidia-cutlass-dsl==4.7.1 下因缺少 cutlass.cute.core.ThrMma 而加载失败，因此没有计时结果。Hub 后端使用 trust_remote_code: true。FA3 面向 Hopper，不适用于 L40S（上游支持说明）。

H200 batch 扩展¶

在同一张 H200 上，native SDPA 的 batch 10 为 0.612 秒，batch 20 为 1.223 秒，两者均约为 16.35 张/秒。吞吐量达到平台后，batch 翻倍会使计算量近似翻倍。144 GB 预设仍关闭 checkpoint；更大的 batch 利用额外容量，但不保证每秒生成更多训练样本。

使用缓存的 Domokun 输入检查完整 transformer：移除冗余 mask 前后，FP32 输出完全一致，梯度相对 L2 误差为 1.97e-6。BF16 后端在数值上不可互换：在这一批数据中，相对 FP32 的 LoRA 总梯度余弦相似度，native SDPA 约为 0.92–0.93，FA3 约为 0.80。这是数值诊断，不是收敛性比较。

H200 batch-20 trace 中，kernel 执行占采集区间的 93.1%。GEMM 占 kernel 时间的 70.5%，注意力占 9.7%；Inductor 已融合 normalization/RoPE 和逐元素 epilogue。最大的空闲间隔出现在 batch 准备附近。kernel 活跃时间不等于 SM occupancy，吞吐量表不使用 profiler 计时。

对于这个 27 张图像、batch 20 的数据集，prefetch 更慢：queue length 2 时，host prefetch 平均 2.030 秒/步，device prefetch（1 MiB 阈值）为 2.036 秒/步，而关闭时为 1.223 秒。两者中位数接近 1.17 秒，但周期性出现约 3 秒的步骤；预设保持 prefetch 关闭。

250 步 Domokun 配置用于吞吐量测试，并非可靠的收敛配方。较早的 checkpoint 在重新加载后生成了可辨认的 Domokun，但新启动的 250 步训练未能复现。保留 padding mask、关闭编译以及恢复较早 RoPE 表达式的对照实验也失败了。缓存 latent 解码后确实是正确主体。训练质量下降的原因尚未确定；计时表不能证明不同注意力后端的图像质量相当。

Qwen Image¶

以下是 Qwen-Image 1.0（model_flavour: "v1.0"）的历史测量，使用旧版 qwen_image/v2.1/default/peft-lora 示例，分辨率为 1024x1024。该示例现在默认选择 2.1。下表中几乎相同的 interval/stride 结果无法证明不同调度实际生效，不应用于配置 2.1。

Sana¶

Example: sana/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: Sana has interval checkpointing; stride is not a separate segmented schedule for this family in the measured rows.

SanaVideo¶

Example: sanavideo/2b-480p/default/peft-lora. Resolution: 832x480, 49f.

Note: SanaVideo 使用 linear attention，所以 attention activation offload 仍不支持。标准路径支持 segmented whole-block checkpointing。

SD 1.x¶

Example: sd1x/dreamshaper/default/peft-lora. Resolution: 512x512.

说明：SD1x 使用 diffusers UNet path。普通 layer checkpointing 受支持，但 interval 和 segmented stride controls 没有接入这个 family。

SD3¶

Example: sd3/default/default/peft-lora. Resolution: 1024x1024.

说明：SD3 在普通 transformer path 上使用真正的连续 segmented checkpointing。Attention activation offload 已支持；它会大幅降低 VRAM，但会牺牲 throughput。

SDXL¶

Example: sdxl/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: SDXL has real layer checkpointing. Interval and stride rows are included as coverage data, not as segmented-support recommendations.

Stable Cascade¶

Example: stable_cascade/default/default/stage-c.lycoris-lokr. Resolution: 1024x1024.

说明：stage C 使用全精度 prior 路径。这些行使用 mixed_precision=no 和 base_model_precision=no_change；量化 base precision 行对这个模型没有实际意义。interval 和 stride 模式作用在 UNet 的 Res/Timestep/Attention micro-block 序列上。

Wan 2.1 T2V 1.3B¶

Example: wan/t2v-480p-1.3b-2.1/default/t2v-1.3b-480p-single-gpu.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan 1.3B should be read from the no-regional-compile/RamTorch rows; regional compile was not a useful throughput setting in this sweep.

Wan 2.1 T2V 14B¶

Example: wan/t2v-480p-14b-2.1/default/t2v-14b-480p-single-gpu.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan 14B is mainly a fit test for activation savings. Status-only cells are still useful because they show which combinations reached the memory limit.

Wan S2V¶

Example: wan_s2v/s2v-14b-2.2/default/14b-480p.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan S2V is included as coverage data for the video/audio path. Treat failed cells as implementation coverage gaps.

Z-Image Turbo¶

Example: z_image/turbo/default/peft-lora. Resolution: 1024x1024.

ZLab I1¶

Example: zlab_i1/3b/default/peft-lora. Resolution: 1024x1024.

说明：ZLab I1 会把 U-Net 式 skip tensors 放进 segmented checkpoint state。该 family 尚未接入 attention activation offload。