Inicio rapido de Cosmos3¶

Entrena un LyCORIS LoKr para NVIDIA Cosmos3.

Notas del modelo¶

• model_family: cosmos3
• model_flavour predeterminado: nano
• Flavours admitidos:

• Cosmos3 usa IDs del tokenizer directamente.
• Los prompts positivos se convierten a captions JSON de Cosmos3 durante la tokenizacion.
• Los prompts negativos no se convierten a JSON.
• No agregues un backend text_embeds.
• Imagen y video usan la cache VAE normal.
• Video + audio usa la cache VAE normal y una cache VAE de audio.
• super-i2v requiere latentes de condicionamiento.
• Datasets de accion y politica no se cubren aqui.

Componentes¶

SimpleTuner usa componentes Cosmos3 separados por defecto:

• Mantén cosmos3_reasoner_component: auto.
• Mantén cosmos3_generator_component: auto.
• Las salidas del reasoner se cachean por la ruta de text embeds.
• text_cache_disable: true vuelve a ejecutar el reasoner congelado durante el entrenamiento.

Hardware¶

• Empieza con model_flavour: nano.
• Usa mixed_precision: bf16.
• Empieza con base_model_precision: no_change.
• Mantén train_batch_size: 1.
• Activa gradient_checkpointing.
• Usa los componentes generator separados para reducir memoria al cargar el transformer.

Instalacion¶

pip install 'simpletuner[cuda]'

# Usuarios CUDA 13 / Blackwell
pip install 'simpletuner[cuda13]' --extra-index-url https://download.pytorch.org/whl/cu130

Instalacion de desarrollo:

python3.13 -m venv .venv
. .venv/bin/activate
pip install -e .

Configs de ejemplo¶

Los ejemplos de imagen 48g y 80g son variantes de la receta nano image LoKr ajustadas por tamaño de memoria. Ambos usan el backend 1024px aspect-ratio. La config 48g mantiene gradient checkpointing con gradient_checkpointing_interval: 2; la config 80g desactiva gradient checkpointing y habilita flash-attn-3-hub.

Campos requeridos¶

• model_family: cosmos3
• model_type: lora
• lora_type: lycoris
• base_model_precision: no_change
• mixed_precision: bf16
• train_batch_size: 1
• gradient_checkpointing: true

Notas de datasets¶

Imagen¶

• Dataset: RareConcepts/Domokun
• Backend: config/examples/_shared/multidatabackend-cosmos3-domokun-512px.json
• Tipo de backend: huggingface
• Estrategia de captions: instanceprompt
• Cache de text embeds: solo cache del reasoner
• Cache de audio: no se usa

Video¶

• Dataset: sayakpaul/video-dataset-disney-organized
• Backend: config/examples/_shared/multidatabackend-cosmos3-disney-video-480p+49f.json
• Tipo de backend: huggingface
• Columnas: video, prompt
• Cache de text embeds: solo cache del reasoner
• Cache de audio: no se usa

Video con audio¶

• Dataset: bghira/Synchronised-Drumming-Gemini3Captions
• Backend: config/examples/_shared/multidatabackend-cosmos3-drumming-video-audio-480p+49f.json
• Tipo de backend: local
• Archivos: videos .mpeg con captions .txt adyacentes
• Cache de text embeds: solo cache del reasoner
• Cache de audio: generada desde el backend de video

Descarga el dataset antes de entrenar:

huggingface-cli download \
  --repo-type=dataset \
  bghira/Synchronised-Drumming-Gemini3Captions \
  --local-dir datasets/Synchronised-Drumming-Gemini3Captions

Bloque de audio:

"audio": {
  "auto_split": true,
  "sample_rate": 16000,
  "channels": 1,
  "duration_interval": 3.0,
  "allow_zero_audio": false
}

Super-I2V¶

• Dataset: sayakpaul/video-dataset-disney-organized
• Backend: config/examples/_shared/multidatabackend-cosmos3-disney-i2v-480p+49f.json
• Tipo de backend: huggingface
• Columnas: video, prompt
• video.is_i2v: true
• Tipo de condicionamiento: reference_strict
• Latentes de condicionamiento: requeridos
• Cache de audio: no se usa

El backend I2V marca el dataset de video con:

"video": {
  "num_frames": 49,
  "min_frames": 49,
  "is_i2v": true
}

SimpleTuner crea el backend de referencia estricta desde esta marca.

Ejecutar¶

simpletuner train example=cosmos3/nano/default/image.lycoris-lokr
simpletuner train example=cosmos3/nano/48g/legacy-image.lycoris-lokr
simpletuner train example=cosmos3/nano/80g/legacy-image.lycoris-lokr
simpletuner train example=cosmos3/nano/default/video.lycoris-lokr
simpletuner train example=cosmos3/nano/default/video-audio.lycoris-lokr
simpletuner train example=cosmos3/super-i2v/default/lycoris-lokr

Validacion¶

• Ejemplo de imagen: validation_resolution: 512x512
• Ejemplos de video: validation_resolution: 768x432
• Ejemplos de video: validation_num_video_frames: 49
• Ejemplo Super-I2V: usa entradas de validacion de condicionamiento.

Referencias¶

• Pipeline Cosmos3 en Diffusers
• Coleccion NVIDIA Cosmos3