Checkpointing Segmentado¶

Checkpointing segmentado e o meio-termo entre checkpoint em todo block e nenhum checkpoint.

Usa o activation checkpointing do PyTorch. O SimpleTuner executa um grupo contíguo de blocos Transformer em uma chamada de checkpoint e passa o estado oculto retornado ao próximo grupo. Grupos maiores salvam menos estados nas fronteiras, mas ainda recalculam os blocos durante o backward; meça o efeito sobre velocidade e pico de memória.

Para CPU offload e FFN-only checkpointing, veja Unsloth-style checkpointing. A regra curta continua em Decision Rule.

Controles¶

{
  "gradient_checkpointing": true,
  "gradient_checkpointing_backend": "torch",
  "gradient_checkpointing_interval": 2
}

Nos caminhos whole-block suportados, gradient_checkpointing_interval e a largura do segment. 2 significa checkpoint dos blocks 0-1, 2-3, 4-5 e assim por diante.

Para controle mais fino de VRAM, adicione stride:

{
  "gradient_checkpointing": true,
  "gradient_checkpointing_backend": "torch",
  "gradient_checkpointing_interval": 2,
  "gradient_checkpointing_segment_stride": 4
}

Isso faz checkpoint dos blocks 0-1, executa 2-3 normalmente, faz checkpoint de 4-5, executa 6-7 normalmente e repete. O stride deve ser pelo menos o interval; schedules sobrepostos nao sao validos.

Caminhos segmented whole-block suportados: Flux.1, Flux.2, Flux.3 Image Klein, HunyuanVideo, Krea 2, LongCat Image, LongCat Video, LTXVideo 0.9, LTXVideo2, Lumina2, MageFlow, MiniMax H3, PixArt, Qwen Image 2.1, SD3, SanaVideo, Z-Image, ZLab I1 e Wan.

Stable Cascade stage C tambem suporta interval e stride, mas aplica o schedule a sequencia de micro-blocos Res/Timestep/Attention do UNet em vez de grupos transformer whole-block.

Algumas familias usam semantica de interval especifica do modelo:

Nao compare linhas stride quando stride e ignorado. Se os numeros forem identicos, normalmente a option nao foi aplicada.

Quando Usar¶

Use depois que o checkpointing normal por block couber, mas custar tempo demais por step. Comece com 2. Se houver VRAM, tente 2 com stride 4 em modelos muito profundos.

Nao espere ajuda quando o peak vem principalmente de pesos treinaveis, optimizer state, validation, cache de VAE, block swapping ou routing. O SimpleTuner volta para o caminho per-block mais seguro quando uma feature do modelo precisa desse controle.

dynamo_use_regional_compilation nao e ganho universal. Ele ajudou ou foi neutro em alguns image models, mas foi ruim nos perfis Wan/RamTorch e LTXVideo2 abaixo.

Benchmarks¶

Medido com exemplos reais do SimpleTuner em pods single-GPU H100, H200 e L40S. Validation e checkpoint saves ficaram desativados, cache preparation foi excluida, e o compile/setup do primeiro step dentro do train loop e excluido quando ha timing post-warmup.

Cada celula medida e post-warmup sec/step / peak VRAM GiB. Celulas somente com status significam: OOM ficou sem memoria de GPU, failed nao chegou aos training steps medidos, unsupported significa que a opcao nao estava conectada para essa familia, e not run significa que o sweep nao incluiu essa combinacao.

Compare modos dentro da mesma familia primeiro. Comparacoes entre familias sao aproximadas porque resolution, frame count, attention backend, model depth, trainable adapter type e dataset shape mudam.

A matriz abaixo e a fonte de verdade para este sweep. Notas especificas por modelo marcam caveats quando uma linha e coverage data em vez de recomendacao.

Resultados Por Familia¶

ACE Step 1.5¶

Example: ace_step/v15-base/default/v1-5.peft-lora. Resolution: 512.

Note: This sweep did not produce a usable ACE Step throughput row. The status-only entries below should be treated as coverage gaps, not as a recommendation.

Destilacao AnyFlow no Anima¶

Exemplo: anima/base-v1.0/default/anyflow-stage1.peft-lora. Resolucao: 1024x1024. Esta linha mede destilacao AnyFlow usando Anima, nao o exemplo LoRA de Anima puro. Use anima/base-v1.0/default/peft-lora para treinamento de imagem Anima puro em 1024x1024.

AuraFlow¶

Example: auraflow/v0.3/default/peft-lora. Resolution: 1024x1024.

Nota: AuraFlow suporta quantizacao com SDNQ e TorchAO. As linhas quantizadas sem checkpointing estao abaixo; as linhas quantizadas com checkpointing precisam de uma nova medicao completa antes de receber numeros aqui.

Boogu Image¶

Example: boogu_image/v0.1-base/default/peft-lora. Resolution: 1024x1024.

Chroma¶

Example: chroma/default/default/peft-lora. Resolution: 1024x1024.

Note: Checkpointed Chroma rows use attention_mechanism=native-efficient, which was the stable attention path for this sweep.

Cosmos 2 Image¶

Example: cosmos/default/default/lycoris-lokr. Resolution: 512x512.

Cosmos 3¶

Example: cosmos3/edge/24g/image.lycoris-lokr. Resolution: 1024 px.

ERNIE 4.5 Image¶

Example: ernie/base/default/peft-lora. Resolution: 512x512.

Flux.3 Image Klein¶

Exemplo: flux3_image/klein-base/default/peft-lora, Klein Base. Treinamento: recortes centrais de 512x512, batch 1, LoRA de atenção com rank/alpha 32, AdamW BF16, SDPA nativo e compilação regional Inductor (default, wrapper C++). CREPA e o adaptador assistente estão desativados. Cada linha medida executa 30 atualizações; o tempo por passo exclui as primeiras cinco e a preparação dos caches. VRAM indica o pico de memória alocada pelo PyTorch durante as atualizações de treinamento.

Dataset: RareConcepts/Domokun, 27 imagens. Caption fixo: a photograph of a toy character (80 tokens de texto em cache).

PyTorch 2.14.1+cu130; Diffusers 0.41.0; Transformers 5.20.1; PEFT 0.21.2; Accelerate 1.15.0; SDNQ 0.2.8; TorchAO 0.17.0+cu130. dynamo_dynamic=true.

As sequências de blocos de imagem, texto, imagem de referência e fluxo conjunto são segmentadas separadamente. interval2 faz checkpoint de pares consecutivos; seg2-stride4 faz checkpoint de dois blocos e mantém as ativações dos dois seguintes. A captura de estados ocultos usa o caminho por bloco. Attention activation offload não é suportado.

HeartMula¶

Example: heartmula/3b/default/peft-lora. Treinamento com tokens de áudio.

HiDream¶

Example: hidream/full/default/peft-lora. Resolution: 512x512.

SDNQ Hadamard numbers use sdnq_compile_mode=eager. The compiled SDNQ path quantizes HiDream, but this sweep spent the first training step in Inductor dequantizer compilation, so it is not listed as a throughput row.

HunyuanVideo¶

Exemplo: hunyuanvideo/t2v-480p/default/1.5-t2v.peft-lora. Forma de training: video buckets de 480 pixel-area, 48 frames, batch 2.

HunyuanVideo usa muitas activations nessa forma de training. Per-block e interval-2 cabem bem; sem checkpointing nao cabe em um H100 de 80 GB. seg2-stride4 so coube neste sweep com attention activation offload, e essa linha e uma saida para memoria, nao uma recomendacao de velocidade. SDNQ Hadamard funciona, mas formas variaveis de conditioning ainda disparam compilacao de kernels dinamicos durante a medicao.

Ideogram 4.0¶

Exemplo: ideogram/fp8/default/peft-lora. Resolucao: 1024x1024. O flavour fp8 usa o checkpoint fp8 nativo weight-only do Ideogram 4 (base_model_precision=no_change); bf16-upcast define ideogram_fp8_base_upcast=true para dequantizar os pesos base para bf16 no load. Pedir qualquer outro base_model_precision (por exemplo int8-sdnq) tambem dequantiza primeiro para que o quantizer opere sobre pesos reais.

Revisoes anteriores desta tabela foram medidas antes de o Ideogram respeitar gradient_checkpointing_interval, gradient_checkpointing_segment_stride ou gradient_checkpointing_backend (seu loader custom pulava a conexao compartilhada), e antes de o int8-sdnq realmente quantizar o checkpoint fp8 — todas as linhas de checkpointing eram, silenciosamente, checkpointing torch full-layer sobre pesos fp8-native. Os numeros de H100 abaixo sao pos-fix; as linhas de L40S aguardam re-medicao.

Os backends torch-ffn/unsloth-ffn nao sao suportados: o Ideogram 4 nao expoe uma fronteira de checkpointing attention/FFN.

Conclusoes: seg2-stride4 e ~14% mais rapido que full-layer ao custo de ~24 GiB a mais de activations retidas; o offload do unsloth economiza ~1.2 GiB com um custo de 1-3% no tempo de step (e e mais rapido que o torch com int8 full-layer, onde o offload sobrepoe o matmul quantizado); bf16-upcast e o vencedor em throughput quando a VRAM permite.

Kandinsky 5 Image¶

Example: kandinsky5_image/default/default/6b-t2i.lycoris-lokr. Resolution: 1024x1024.

Note: batch 3 at 1024x1024 needs full checkpointing on both cards. SDNQ with Hadamard is the best low-VRAM row; H100 can also use partial checkpointing with SDNQ, but only near the top of the card.

Kandinsky 5 Video¶

Example: kandinsky5_video/default/default/2b-t2v.peft-lora. Resolution: 768x512, 81f.

Kandinsky 5 video is activation-heavy at this frame count. Full block checkpointing is the practical baseline on both cards. On H100, interval2 and seg2-stride4 are faster when they fit; on L40S, SDNQ interval2 is the only partial-checkpoint row here that fits without attention activation offload.

Kolors¶

Example: kolors/1.0/default/peft-lora. Resolution: 1024x1024.

Krea 2¶

Exemplo: krea2/raw/default/peft-lora. Resolucao de treino: crop quadrado de 512 px. Configuracao de validacao do exemplo: 1024x1024; a validacao ficou desativada no benchmark.

A tabela principal usa regional compilation. Isso ajuda o step speed do Krea2, mas nao e uma comparacao limpa de VRAM: o compiled graph/workspace mantem o pico perto do pico sem checkpointing em varios modos. Uma execucao de controle bf16 com regional compilation desativado mostrou que o checkpointing esta conectado e tem o formato esperado de memoria/velocidade:

A linha activation-offload aqui significa full-block checkpointing mais attention activation offload. Contra full-block layer checkpointing sozinho, attention offload nao reduziu o peak VRAM do Krea2 neste shape; principalmente adicionou CPU transfer overhead.

LongCat Image¶

Exemplo: longcat_image/default/default/peft-lora. Resolucao de treino: 512 px quadrada; resolucao de validacao: 1024x1024. As linhas usam attention_mechanism=native-flash.

LongCat Video¶

Exemplo: longcat_video/final/default/peft-lora+ramtorch. Resolucao: 832x480, 81f. As linhas usam attention_mechanism=native-flash.

LongCat Video usa muitas activations neste shape. Full per-block checkpointing e a linha pratica. As linhas partial checkpoint (interval2, seg2-stride4) nao cabem aqui, mesmo com attention activation offload na linha strided. Attention activation offload simples cabe para bf16 e SDNQ, mas e muito mais lento que full checkpointing.

LTXVideo 0.9.5¶

Example: ltxvideo/0.9.5/default/t2v.peft-lora. Resolution: 768x512, 49f.

Os numeros sao segundos warm por step / GiB pico. A media da execucao completa inclui setup e compile, e fica nos artifacts do sweep.

As linhas de attention activation offload nao sao suportadas para LTXVideo 0.9 neste sweep.

LTXVideo2 2.3¶

Example: ltxvideo2/2.3-dev/default/720p-single-gpu.peft-lora+sdnq-hadamard. Resolution: 1280x704, 49f.

Note: LTXVideo2 2.3 should be read from the no-regional-compile rows in this sweep; regional compile raised memory pressure for this model.

Lumina2¶

Example: lumina2/default/default/peft-lora. Resolution: 512x512.

Nota: Lumina2 agora usa o caminho segmented whole-block. interval2 faz checkpoint de cada segmento de dois blocks; seg2-stride4 checkpointa dois blocks, deixa os dois seguintes manterem activations e repete. Attention activation offload nao fez parte desta rodada de Lumina2.

MageFlow¶

Example: mageflow/turbo/24g/image.peft-lora. Resolution: 1024x1024.

Nota: o caminho de imagem com shapes variaveis do MageFlow em 1024px se beneficia principalmente de attention activation offload e FP8 weight-only. Os modos de block checkpointing sao validos, mas nao reduziram o pico de residencia medido neste sweep.

OmniGen¶

Example: omnigen/default/default/lycoris-lokr. Resolution: 1024x1024.

Nota: OmniGen usa prompts como token IDs em vez de embeddings de texto em cache. Estas linhas medem os caminhos suportados sem checkpointing e com checkpointing torch de bloco completo; os controles interval, segmented-stride e attention-offload nao estao implementados para esta familia neste sweep.

PixArt¶

Example: pixart/default/default/lycoris-lokr. Resolution: 1024x1024.

Qwen Image 2.1¶

Medições em GPUs H200 e L40S com modelo de hardware verificado: qwen_image/v2.1/default/peft-lora, Qwen-Image 2.1, Domokun em 512x512, BF16, LoRA rank 32, Optimi Lion e compilação regional Inductor (modo default). Cada execução tem 20 passos; os cinco primeiros são excluídos do tempo. As células mostram segundos/passo / pico de VRAM GiB, incluindo a preparação dos componentes no pico.

Ambiente: torch==2.11.0+cu128, diffusers==0.40.0; 10 tokens de texto e 1024 de imagem. A preparação dos componentes domina alguns picos de memória com batch 1.

Esquemas de checkpoint BF16¶

none desliga checkpointing; layer aplica checkpoint a cada bloco. interval2 agrupa blocos contíguos 0–1, 2–3, …; seg2-stride4 aplica checkpoint a 0–1, mantém as ativações de 2–3 e repete. A execução agrupada requer ausência de block swapping, captura de estados ocultos e KV cache; esses caminhos mantêm interval/stride por bloco. Attention activation offload (activation-offload, seg2-stride4-offload) não é suportado. Como BF16 cabe, esta medição de 2.1 não inclui quantização.

Backends de atenção¶

A comparação de atenção desliga checkpointing. O SDPA nativo selecionou cuDNN no H200 e PyTorch Flash SDPA no L40S. Qwen 2.1 usa atenção causal no texto e atenção não causal da imagem alvo a todas as chaves válidas. Prompts de comprimento igual, sem padding, não precisam de varlen. Os caminhos FlashAttention atuais exigem prompts text-to-image sem padding; use SDPA nativo ou FlexAttention para padding ou condicionamento intercalado. Uma máscara varlen apenas de padding não preserva essa estrutura causal.

O helper de metadados varlen de comprimento uniforme veio do Diffusers upstream: usa as formas para os comprimentos e arange para os offsets acumulados, eliminando sincronizações GPU .item() e graph breaks do helper publicado. Máscaras redundantes totalmente válidas são removidas no collate. A equivalência de forward/gradientes e a captura do grafo são verificadas separadamente da medição de tempo.

Forçar attention_mechanism: "cudnn" falhou no Inductor do PyTorch 2.11 com CantSplit; o SDPA nativo automático continuou usando cuDNN com sucesso. FA4 Hub falhou ao carregar com nvidia-cutlass-dsl==4.7.1: falta cutlass.cute.core.ThrMma, portanto não há tempo medido. Backends Hub usam trust_remote_code: true. FA3 é para Hopper, não para L40S (suporte upstream).

Escala do batch no H200¶

No mesmo H200, SDPA nativo levou 0.612 s com batch 10 e 1.223 s com batch 20, ambos perto de 16.35 imagens/s. Após o platô de throughput, dobrar o batch dobrou o trabalho. O preset de 144 GB mantém checkpointing desligado; o batch maior utiliza a capacidade adicional sem prometer mais imagens/s.

Uma verificação do transformer completo com entradas Domokun em cache encontrou saídas FP32 idênticas com e sem a máscara redundante; o erro L2 relativo dos gradientes foi 1.97e-6. Os backends BF16 não são numericamente intercambiáveis: neste único batch, o cosseno do gradiente LoRA agregado em relação a FP32 foi aproximadamente 0.92–0.93 para SDPA nativo e 0.80 para FA3. São diagnósticos numéricos, não comparações de convergência.

No trace H200 com batch 20, havia kernels ativos em 93.1% do intervalo capturado. GEMMs representaram 70.5% do tempo de kernel e atenção 9.7%; Inductor já fundiu normalização/RoPE e epílogos ponto a ponto. As maiores lacunas ocorreram perto da preparação do batch. Tempo ativo de kernel não é ocupação de SM, e os tempos do profiler não entram nas tabelas de throughput.

Prefetch foi mais lento neste conjunto de 27 imagens com batch 20: com fila de 2, host prefetch teve média de 2.030 s/passo e device prefetch (limiar de 1 MiB) 2.036 s, contra 1.223 s sem prefetch. Ambos tiveram passos periódicos de aproximadamente 3 segundos apesar de medianas próximas de 1.17 s; os presets mantêm prefetch desligado.

A receita Domokun de 250 steps serve para medir throughput, não como receita de convergência confiável. Um checkpoint anterior gerou Domokun reconhecível após recarregar, mas novas execuções de 250 steps não reproduziram o resultado. Os controles mantendo máscaras de padding, desativando compilação e restaurando a expressão RoPE anterior também falharam. Os latentes em cache decodificam o personagem correto. A causa da deterioração continua sem resolução; as tabelas de tempo não demonstram qualidade equivalente entre backends de atenção.

Qwen Image¶

Medições históricas do Qwen-Image 1.0 (model_flavour: "v1.0"), usando o antigo exemplo qwen_image/v2.1/default/peft-lora em 1024x1024. O exemplo agora seleciona 2.1. Os resultados quase idênticos de interval/stride abaixo não comprovam que esquemas diferentes estavam ativos e não devem orientar a configuração de 2.1.

Sana¶

Example: sana/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: Sana has interval checkpointing; stride is not a separate segmented schedule for this family in the measured rows.

SanaVideo¶

Example: sanavideo/2b-480p/default/peft-lora. Resolution: 832x480, 49f.

Note: SanaVideo usa linear attention, entao attention activation offload continua unsupported. Segmented whole-block checkpointing e suportado no caminho standard.

SD 1.x¶

Example: sd1x/dreamshaper/default/peft-lora. Resolution: 512x512.

Nota: SD1x usa o caminho UNet do diffusers. O checkpointing por camada funciona, mas os controles interval e segmented stride nao estao conectados para esta familia.

SD3¶

Example: sd3/default/default/peft-lora. Resolution: 1024x1024.

Nota: SD3 usa checkpointing segmentado contiguo real no caminho transformer simples. Attention activation offload e suportado; reduz bastante a VRAM, mas custa throughput.

SDXL¶

Example: sdxl/default/default/lycoris-lokr. Resolution: 1024x1024.

Note: SDXL has real layer checkpointing. Interval and stride rows are included as coverage data, not as segmented-support recommendations.

Stable Cascade¶

Example: stable_cascade/default/default/stage-c.lycoris-lokr. Resolution: 1024x1024.

Nota: stage C usa o prior em precision completa. Estas linhas foram executadas com mixed_precision=no e base_model_precision=no_change; linhas de precision base quantizada nao sao significativas para este modelo. Os modos interval e stride operam sobre a sequencia de micro-blocos Res/Timestep/Attention do UNet.

Wan 2.1 T2V 1.3B¶

Example: wan/t2v-480p-1.3b-2.1/default/t2v-1.3b-480p-single-gpu.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan 1.3B should be read from the no-regional-compile/RamTorch rows; regional compile was not a useful throughput setting in this sweep.

Wan 2.1 T2V 14B¶

Example: wan/t2v-480p-14b-2.1/default/t2v-14b-480p-single-gpu.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan 14B is mainly a fit test for activation savings. Status-only cells are still useful because they show which combinations reached the memory limit.

Wan S2V¶

Example: wan_s2v/s2v-14b-2.2/default/14b-480p.peft-lora+ramtorch. Resolution: 832x480, 81f.

Note: Wan S2V is included as coverage data for the video/audio path. Treat failed cells as implementation coverage gaps.

Z-Image Turbo¶

Example: z_image/turbo/default/peft-lora. Resolution: 1024x1024.

ZLab I1¶

Example: zlab_i1/3b/default/peft-lora. Resolution: 1024x1024.

Nota: ZLab I1 carrega seus skip tensors estilo U-Net pelo estado segmented checkpoint. Attention activation offload nao esta conectado para esta familia.