Checkpointing Segmentado¶

El checkpointing segmentado queda entre checkpointing en cada block y no usar checkpointing.

Usa activation checkpointing de PyTorch. SimpleTuner ejecuta un grupo contiguo de bloques Transformer en una llamada de checkpoint y pasa el estado oculto devuelto al siguiente grupo. Los grupos más grandes guardan menos estados en los límites, pero siguen recalculando los bloques durante backward; mide el efecto sobre velocidad y memoria máxima.

Para CPU offload y FFN-only checkpointing, usa Unsloth-style checkpointing. La regla corta sigue en Decision Rule.

Controles¶

{
  "gradient_checkpointing": true,
  "gradient_checkpointing_backend": "torch",
  "gradient_checkpointing_interval": 2
}

En rutas whole-block soportadas, gradient_checkpointing_interval es el ancho del segment. 2 significa checkpoint de blocks 0-1, 2-3, 4-5, etc.

Para controlar VRAM con mas detalle, agrega stride:

{
  "gradient_checkpointing": true,
  "gradient_checkpointing_backend": "torch",
  "gradient_checkpointing_interval": 2,
  "gradient_checkpointing_segment_stride": 4
}

Esto checkpointa blocks 0-1, ejecuta 2-3 normalmente, checkpointa 4-5, ejecuta 6-7 normalmente y repite. El stride debe ser al menos el interval; schedules solapados no son validos.

Rutas segmented whole-block soportadas: Flux.1, Flux.2, Flux.3 Image Klein, HunyuanVideo, Krea 2, LongCat Image, LongCat Video, LTXVideo 0.9, LTXVideo2, Lumina2, MageFlow, MiniMax H3, PixArt, Qwen Image 2.1, SD3, SanaVideo, Z-Image, ZLab I1 y Wan.

Stable Cascade stage C tambien soporta interval y stride, pero aplica el schedule a la secuencia de micro-bloques Res/Timestep/Attention del UNet en vez de a grupos transformer whole-block.

Algunas familias usan semantica de interval especifica del modelo:

No compares filas stride cuando stride se ignora. Si los numeros son identicos, normalmente el option no se aplico.

Cuando Usarlo¶

Usalo despues de que el checkpointing normal por block ya entra en VRAM pero cuesta demasiado tiempo por step. Empieza con 2. Si hay VRAM, prueba 2 con stride 4 en modelos muy profundos.

No esperes que ayude cuando el peak viene sobre todo de pesos entrenables, optimizer state, validation, cache VAE, block swapping o routing. SimpleTuner vuelve a la ruta per-block mas segura cuando una funcion del modelo necesita control por block.

dynamo_use_regional_compilation no es una victoria universal. Ayudo o fue neutral en varios image models, pero fue mala opcion para los perfiles Wan/RamTorch y LTXVideo2 de abajo.

Benchmarks¶

Medido con ejemplos reales de SimpleTuner en pods single-GPU H100, H200 y L40S. Validation y checkpoint saves estuvieron desactivados, cache preparation quedo fuera, y el compile/setup del primer step dentro del train loop se excluye cuando existe timing post-warmup.

Cada celda medida es post-warmup sec/step / peak VRAM GiB. Las celdas de estado significan: OOM agoto memoria de GPU, failed no llego a training steps medidos, unsupported significa que esa opcion no estaba conectada para esa familia, y not run significa que el sweep no incluyo esa combinacion.

Compara modos dentro de una familia primero. Las comparaciones entre familias son aproximadas porque cambian resolution, frame count, attention backend, model depth, trainable adapter type y dataset shape.

La matriz de abajo es la fuente de verdad para este sweep. Las notas especificas por modelo marcan caveats cuando una fila es coverage data y no una recomendacion.

Resultados Por Familia¶

ACE Step 1.5¶

Example: ace_step/v15-base/default/v1-5.peft-lora. Resolution: 512.

Note: This sweep did not produce a usable ACE Step throughput row. The status-only entries below should be treated as coverage gaps, not as a recommendation.

Destilacion AnyFlow en Anima¶

Ejemplo: anima/base-v1.0/default/anyflow-stage1.peft-lora. Resolucion: 1024x1024. Esta fila mide destilacion AnyFlow usando Anima, no el ejemplo LoRA de Anima puro. Usa anima/base-v1.0/default/peft-lora para entrenamiento de imagen Anima puro a 1024x1024.

AuraFlow¶

Example: auraflow/v0.3/default/peft-lora. Resolution: 1024x1024.

Nota: AuraFlow soporta cuantizacion con SDNQ y TorchAO. Las filas cuantizadas sin checkpointing estan abajo; las filas cuantizadas con checkpointing necesitan una nueva medicion completa antes de publicar numeros aqui.

Boogu Image¶

Example: boogu_image/v0.1-base/default/peft-lora. Resolution: 1024x1024.

Chroma¶

Example: chroma/default/default/peft-lora. Resolution: 1024x1024.

Note: Checkpointed Chroma rows use attention_mechanism=native-efficient, which was the stable attention path for this sweep.

Cosmos 2 Image¶

Example: cosmos/default/default/lycoris-lokr. Resolution: 512x512.

Cosmos 3¶

Example: cosmos3/edge/24g/image.lycoris-lokr. Resolution: 1024 px.

ERNIE 4.5 Image¶

Example: ernie/base/default/peft-lora. Resolution: 512x512.

Flux.3 Image Klein¶

Ejemplo: flux3_image/klein-base/default/peft-lora, Klein Base. Entrenamiento: recortes centrales de 512x512, batch 1, LoRA de atención con rank/alpha 32, AdamW BF16, SDPA nativo y compilación regional Inductor (default, wrapper C++). CREPA y el adaptador asistente están desactivados. Cada fila medida ejecuta 30 actualizaciones; el tiempo por paso excluye las primeras cinco y la preparación de cachés. VRAM indica el pico de memoria asignada por PyTorch durante las actualizaciones de entrenamiento.

Dataset: RareConcepts/Domokun, 27 imágenes. Caption fijo: a photograph of a toy character (80 tokens de texto en caché).

PyTorch 2.14.1+cu130; Diffusers 0.41.0; Transformers 5.20.1; PEFT 0.21.2; Accelerate 1.15.0; SDNQ 0.2.8; TorchAO 0.17.0+cu130. dynamo_dynamic=true.

Las secuencias de bloques de imagen, texto, imagen de referencia y flujo conjunto se segmentan por separado. interval2 checkpointa pares consecutivos; seg2-stride4 checkpointa dos bloques y conserva las activaciones de los dos siguientes. La captura de estados ocultos usa la ruta por bloque. Attention activation offload no está soportado.

HeartMula¶

Example: heartmula/3b/default/peft-lora. Entrenamiento con tokens de audio.

HiDream¶

Example: hidream/full/default/peft-lora. Resolution: 512x512.

SDNQ Hadamard numbers use sdnq_compile_mode=eager. The compiled SDNQ path quantizes HiDream, but this sweep spent the first training step in Inductor dequantizer compilation, so it is not listed as a throughput row.

HunyuanVideo¶

Ejemplo: hunyuanvideo/t2v-480p/default/1.5-t2v.peft-lora. Forma de training: video buckets de 480 pixel-area, 48 frames, batch 2.

HunyuanVideo usa muchas activations con esta forma de training. Per-block e interval-2 encajan bien; sin checkpointing no entra en un H100 de 80 GB. seg2-stride4 solo entro en este sweep con attention activation offload, y esa fila es una salida de memoria, no una recomendacion de velocidad. SDNQ Hadamard funciona, pero las formas variables de conditioning todavia disparan compilacion de kernels dinamicos durante la medicion.

Ideogram 4.0¶

Ejemplo: ideogram/fp8/default/peft-lora. Resolucion: 1024x1024. El flavour fp8 usa el checkpoint fp8 nativo weight-only de Ideogram 4 (base_model_precision=no_change); bf16-upcast establece ideogram_fp8_base_upcast=true para dequantizar los pesos base a bf16 al cargar. Pedir cualquier otro base_model_precision (p. ej. int8-sdnq) tambien dequantiza primero para que el quantizer opere sobre pesos reales.

Las revisiones anteriores de esta tabla se midieron antes de que Ideogram respetara gradient_checkpointing_interval, gradient_checkpointing_segment_stride o gradient_checkpointing_backend (su loader custom se saltaba la conexion compartida), y antes de que int8-sdnq realmente quantizara el checkpoint fp8 — todas las filas de checkpointing eran en silencio checkpointing torch full-layer sobre pesos fp8-native. Los numeros de H100 de abajo son posteriores al fix; las filas de L40S estan pendientes de re-medicion.

Los backends torch-ffn/unsloth-ffn no estan soportados: Ideogram 4 no expone una frontera de checkpointing attention/FFN.

Conclusiones: seg2-stride4 es ~14% mas rapido que full-layer a cambio de ~24 GiB mas de activations retenidas; el offload de unsloth ahorra ~1.2 GiB con un costo de 1-3% en el tiempo de step (y es mas rapido que torch con int8 full-layer, donde el offload se solapa con el matmul quantizado); bf16-upcast es el ganador en throughput cuando la VRAM lo permite.

Kandinsky 5 Image¶

Example: kandinsky5_image/default/default/6b-t2i.lycoris-lokr. Resolution: 1024x1024.

Note: batch 3 at 1024x1024 needs full checkpointing on both cards. SDNQ with Hadamard is the best low-VRAM row; H100 can also use partial checkpointing with SDNQ, but only near the top of the card.

Kandinsky 5 Video¶

Example: kandinsky5_video/default/default/2b-t2v.peft-lora. Resolution: 768x512, 81f.

Kandinsky 5 video is activation-heavy at this frame count. Full block checkpointing is the practical baseline on both cards. On H100, interval2 and seg2-stride4 are faster when they fit; on L40S, SDNQ interval2 is the only partial-checkpoint row here that fits without attention activation offload.

Kolors¶

Example: kolors/1.0/default/peft-lora. Resolution: 1024x1024.

Krea 2¶

Ejemplo: krea2/raw/default/peft-lora. Resolucion de entrenamiento: recorte cuadrado de 512 px. Ajuste de validacion del ejemplo: 1024x1024; la validacion estuvo desactivada en el benchmark.

La tabla principal usa regional compilation. Eso ayuda al step speed de Krea2, pero no da una comparacion limpia de VRAM: el compiled graph/workspace mantiene el pico cerca del pico sin checkpointing en varios modos. Una corrida de control bf16 con regional compilation desactivado mostro que el checkpointing esta conectado y tiene la forma esperada de memoria/velocidad:

La fila activation-offload aqui significa full-block checkpointing mas attention activation offload. Frente a full-block layer checkpointing solo, attention offload no redujo el peak VRAM de Krea2 en este shape; principalmente agrego CPU transfer overhead.

LongCat Image¶

Ejemplo: longcat_image/default/default/peft-lora. Resolucion de entrenamiento: 512 px cuadrada; resolucion de validacion: 1024x1024. Las filas usan attention_mechanism=native-flash.

LongCat Video¶

Ejemplo: longcat_video/final/default/peft-lora+ramtorch. Resolucion: 832x480, 81f. Las filas usan attention_mechanism=native-flash.

LongCat Video usa muchas activations con esta forma. Full per-block checkpointing es la fila practica. Las filas partial checkpoint (interval2, seg2-stride4) no caben aqui, incluso con attention activation offload en la fila strided. Attention activation offload simple cabe para bf16 y SDNQ, pero es mucho mas lento que full checkpointing.

LTXVideo 0.9.5¶

Example: ltxvideo/0.9.5/default/t2v.peft-lora. Resolution: 768x512, 49f.

Los numeros son segundos warm por step / GiB pico. El promedio de la ejecucion completa incluye setup y compile, y queda en los artifacts del sweep.

Las filas de attention activation offload no estan soportadas para LTXVideo 0.9 en este sweep.

LTXVideo2 2.3¶

Example: ltxvideo2/2.3-dev/default/720p-single-gpu.peft-lora+sdnq-hadamard. Resolution: 1280x704, 49f.

Note: LTXVideo2 2.3 should be read from the no-regional-compile rows in this sweep; regional compile raised memory pressure for this model.

Lumina2¶

Example: lumina2/default/default/peft-lora. Resolution: 512x512.

Nota: Lumina2 ahora usa la ruta segmented whole-block. interval2 checkpointa cada segmento de dos blocks; seg2-stride4 checkpointa dos blocks, deja que los dos siguientes conserven activations y repite. Attention activation offload no fue parte de esta corrida de Lumina2.

MageFlow¶

Example: mageflow/turbo/24g/image.peft-lora. Resolution: 1024x1024.

Nota: la ruta de imagen variable de MageFlow a 1024px se beneficia sobre todo de attention activation offload y FP8 weight-only. Los modos de block checkpointing son validos, pero no redujeron el pico de residencia medido en este sweep.

OmniGen¶

Example: omnigen/default/default/lycoris-lokr. Resolution: 1024x1024.

Nota: OmniGen usa prompts como token IDs en vez de embeddings de texto cacheados. Estas filas miden los caminos soportados sin checkpointing y con checkpointing torch de bloque completo; los controles interval, segmented-stride y attention-offload no estan implementados para esta familia en este barrido.

PixArt¶

Example: pixart/default/default/lycoris-lokr. Resolution: 1024x1024.

Qwen Image 2.1¶

Mediciones en H200 y L40S con el modelo de GPU verificado: qwen_image/v2.1/default/peft-lora, Qwen-Image 2.1, Domokun a 512x512, BF16, LoRA rank 32, Optimi Lion y compilación regional Inductor (modo default). Cada ejecución tiene 20 pasos y excluye los cinco primeros del tiempo. Las celdas muestran segundos/paso / VRAM máxima GiB; el pico incluye la preparación de componentes.

Entorno: torch==2.11.0+cu128, diffusers==0.40.0; 10 tokens de texto y 1024 de imagen. La preparación de componentes domina algunos picos de memoria con batch 1.

Programaciones de checkpoint BF16¶

none desactiva checkpointing; layer aplica checkpoint a cada bloque. interval2 agrupa bloques contiguos 0–1, 2–3, …; seg2-stride4 aplica checkpoint a 0–1, conserva las activaciones de 2–3 y repite. La ejecución agrupada requiere no usar block swapping, captura de estados ocultos ni KV cache; esas rutas mantienen interval/stride por bloque. Attention activation offload (activation-offload, seg2-stride4-offload) no está soportado. BF16 cabe, por lo que esta medición de 2.1 no incluye cuantización.

Backends de atención¶

La comparación de atención desactiva checkpointing. SDPA nativo seleccionó cuDNN en H200 y PyTorch Flash SDPA en L40S. Qwen 2.1 usa atención causal para el texto y atención no causal de la imagen objetivo a todas las claves válidas. Los prompts de igual longitud, sin padding, no necesitan varlen. Las rutas FlashAttention actuales requieren prompts text-to-image sin padding; usa SDPA nativo o FlexAttention para padding o condicionamiento intercalado. Una máscara varlen que solo representa padding no preserva esa estructura causal.

El helper de metadatos varlen de longitud uniforme procede de Diffusers upstream: obtiene las longitudes de las formas y usa arange para los offsets acumulados, eliminando las sincronizaciones GPU .item() y graph breaks del helper publicado. Las máscaras redundantes totalmente válidas se eliminan durante collate. La equivalencia de forward/gradientes y la captura del grafo se comprueban por separado del tiempo.

Forzar attention_mechanism: "cudnn" falló en Inductor de PyTorch 2.11 con CantSplit; SDPA nativo automático sí utilizó cuDNN correctamente. FA4 Hub no pudo cargarse con nvidia-cutlass-dsl==4.7.1: falta cutlass.cute.core.ThrMma, así que no hay tiempos disponibles. Los backends Hub usan trust_remote_code: true. FA3 es para Hopper, no para L40S (soporte upstream).

Escalado de batch en H200¶

En el mismo H200, SDPA nativo tardó 0.612 s con batch 10 y 1.223 s con batch 20, ambos alrededor de 16.35 imágenes/s. Una vez estabilizado el throughput, duplicar el batch duplicó el trabajo. El preset de 144 GB mantiene checkpointing desactivado; el batch mayor aprovecha la capacidad adicional sin prometer más imágenes/s.

Una comprobación del transformer completo con entradas Domokun en caché encontró salidas FP32 idénticas con y sin la máscara redundante; el error L2 relativo de gradientes fue 1.97e-6. Los backends BF16 no son numéricamente intercambiables: en este único batch, el coseno del gradiente LoRA agregado respecto a FP32 fue aproximadamente 0.92–0.93 con SDPA nativo y 0.80 con FA3. Son diagnósticos numéricos, no comparaciones de convergencia.

En el trace H200 con batch 20, hubo kernels activos durante el 93.1% del intervalo capturado. GEMM representó el 70.5% del tiempo de kernel y atención el 9.7%; Inductor ya fusionó normalización/RoPE y epílogos por elemento. Los mayores huecos aparecieron alrededor de la preparación del batch. El tiempo activo de kernel no es ocupación de SM, y los tiempos del profiler no se usan en las tablas de throughput.

Prefetch fue más lento en este conjunto de 27 imágenes con batch 20: con cola de 2, host prefetch promedió 2.030 s/paso y device prefetch (umbral de 1 MiB) 2.036 s, frente a 1.223 s sin prefetch. Ambos tuvieron pasos periódicos de unos 3 segundos pese a medianas cercanas a 1.17 s; los presets mantienen prefetch desactivado.

La receta Domokun de 250 steps sirve para medir throughput, no como receta de convergencia fiable. Un checkpoint anterior generó Domokun reconocible tras recargarlo, pero nuevas ejecuciones de 250 steps no reprodujeron el resultado. Los controles conservando máscaras de padding, desactivando compilación y restaurando la expresión RoPE anterior también fallaron. Los latentes en caché decodifican el personaje correcto. La causa del deterioro sigue sin resolverse; las tablas de tiempos no demuestran calidad equivalente entre backends de atención.

Qwen Image¶

Mediciones históricas de Qwen-Image 1.0 (model_flavour: "v1.0"), con el antiguo ejemplo qwen_image/v2.1/default/peft-lora a 1024x1024. El ejemplo ahora selecciona 2.1. Los resultados casi idénticos de interval/stride no demuestran que hubiera distintas programaciones activas y no deben orientar la configuración de 2.1.

Sana¶

Example: sana/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: Sana has interval checkpointing; stride is not a separate segmented schedule for this family in the measured rows.

SanaVideo¶

Example: sanavideo/2b-480p/default/peft-lora. Resolution: 832x480, 49f.

Note: SanaVideo usa linear attention, asi que attention activation offload sigue unsupported. Segmented whole-block checkpointing esta soportado en la ruta standard.

SD 1.x¶

Example: sd1x/dreamshaper/default/peft-lora. Resolution: 512x512.

Nota: SD1x usa la ruta UNet de diffusers. El checkpointing por capa funciona, pero los controles interval y segmented stride no estan conectados para esta familia.

SD3¶

Example: sd3/default/default/peft-lora. Resolution: 1024x1024.

Nota: SD3 usa checkpointing segmentado contiguo real en la ruta transformer simple. Attention activation offload esta soportado; reduce mucho la VRAM, pero cuesta throughput.

SDXL¶

Example: sdxl/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: SDXL has real layer checkpointing. Interval and stride rows are included as coverage data, not as segmented-support recommendations.

Stable Cascade¶

Example: stable_cascade/default/default/stage-c.lycoris-lokr. Resolution: 1024x1024.

Nota: stage C usa la ruta prior en precision completa. Estas filas se ejecutaron con mixed_precision=no y base_model_precision=no_change; las filas de precision base cuantizada no son significativas para este modelo. Los modos interval y stride operan sobre la secuencia de micro-bloques Res/Timestep/Attention del UNet.

Wan 2.1 T2V 1.3B¶

Example: wan/t2v-480p-1.3b-2.1/default/t2v-1.3b-480p-single-gpu.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan 1.3B should be read from the no-regional-compile/RamTorch rows; regional compile was not a useful throughput setting in this sweep.

Wan 2.1 T2V 14B¶

Example: wan/t2v-480p-14b-2.1/default/t2v-14b-480p-single-gpu.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan 14B is mainly a fit test for activation savings. Status-only cells are still useful because they show which combinations reached the memory limit.

Wan S2V¶

Example: wan_s2v/s2v-14b-2.2/default/14b-480p.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan S2V is included as coverage data for the video/audio path. Treat failed cells as implementation coverage gaps.

Z-Image Turbo¶

Example: z_image/turbo/default/peft-lora. Resolution: 1024x1024.

ZLab I1¶

Example: zlab_i1/3b/default/peft-lora. Resolution: 1024x1024.

Nota: ZLab I1 lleva sus skip tensors tipo U-Net dentro del estado segmented checkpoint. Attention activation offload no esta conectado para esta familia.