Cosmos3 快速开始¶

为 NVIDIA Cosmos3 训练 LyCORIS LoKr。

模型说明¶

• model_family: cosmos3
• 默认 model_flavour: nano
• 支持的 flavours:

• Cosmos3 直接使用 tokenizer ID。
• 正向 prompts 会在 tokenization 中转换为 Cosmos3 JSON captions。
• 负向 prompts 不会转换为 JSON。
• 不要添加 text_embeds backend。
• 图像和视频样本使用普通 VAE cache。
• 视频 + 音频样本使用普通 VAE cache 和 audio VAE cache。
• super-i2v 需要 conditioning latents。
• 本指南不覆盖 action 和 policy dataset。

Components¶

SimpleTuner 默认使用拆分的 Cosmos3 transformer components:

• 保持 cosmos3_reasoner_component: auto。
• 保持 cosmos3_generator_component: auto。
• Reasoner outputs 通过 text embed cache path 缓存。
• text_cache_disable: true 会在 training 中重新运行 frozen reasoner。

Hardware¶

• 从 model_flavour: nano 开始。
• 使用 mixed_precision: bf16。
• 从 base_model_precision: no_change 开始。
• 保持 train_batch_size: 1。
• 启用 gradient_checkpointing。
• 使用拆分的 generator components 来降低 transformer 加载时内存。

Installation¶

pip install 'simpletuner[cuda]'

# CUDA 13 / Blackwell users
pip install 'simpletuner[cuda13]' --extra-index-url https://download.pytorch.org/whl/cu130

Development install:

python3.13 -m venv .venv
. .venv/bin/activate
pip install -e .

Example Configs¶

48g 和 80g 图像示例是按显存容量调优的 nano 图像 LoKr 配方变体。两者都使用 1024px 宽高比后端。48g 配置使用 gradient_checkpointing_interval: 2 保留 gradient checkpointing；80g 配置禁用 gradient checkpointing 并启用 flash-attn-3-hub。

Required Fields¶

• model_family: cosmos3
• model_type: lora
• lora_type: lycoris
• base_model_precision: no_change
• mixed_precision: bf16
• train_batch_size: 1
• gradient_checkpointing: true

Dataset Notes¶

Image¶

• Dataset: RareConcepts/Domokun
• Backend: config/examples/_shared/multidatabackend-cosmos3-domokun-512px.json
• Backend type: huggingface
• Caption strategy: instanceprompt
• Text embed cache: reasoner cache only
• Audio cache: not used

Video¶

• Dataset: sayakpaul/video-dataset-disney-organized
• Backend: config/examples/_shared/multidatabackend-cosmos3-disney-video-480p+49f.json
• Backend type: huggingface
• Columns: video, prompt
• Text embed cache: reasoner cache only
• Audio cache: not used

Video With Audio¶

• Dataset: bghira/Synchronised-Drumming-Gemini3Captions
• Backend: config/examples/_shared/multidatabackend-cosmos3-drumming-video-audio-480p+49f.json
• Backend type: local
• Files: .mpeg videos with adjacent .txt captions
• Text embed cache: reasoner cache only
• Audio cache: generated from the video backend

训练前下载 dataset:

huggingface-cli download \
  --repo-type=dataset \
  bghira/Synchronised-Drumming-Gemini3Captions \
  --local-dir datasets/Synchronised-Drumming-Gemini3Captions

Audio backend block:

"audio": {
  "auto_split": true,
  "sample_rate": 16000,
  "channels": 1,
  "duration_interval": 3.0,
  "allow_zero_audio": false
}

Super-I2V¶

• Dataset: sayakpaul/video-dataset-disney-organized
• Backend: config/examples/_shared/multidatabackend-cosmos3-disney-i2v-480p+49f.json
• Backend type: huggingface
• Columns: video, prompt
• video.is_i2v: true
• Conditioning type: reference_strict
• Conditioning latents: required
• Audio cache: not used

I2V backend 在 video dataset 上设置:

"video": {
  "num_frames": 49,
  "min_frames": 49,
  "is_i2v": true
}

SimpleTuner 会根据这个 flag 创建 paired strict reference conditioning backend。

Run¶

simpletuner train example=cosmos3/nano/default/image.lycoris-lokr
simpletuner train example=cosmos3/nano/48g/legacy-image.lycoris-lokr
simpletuner train example=cosmos3/nano/80g/legacy-image.lycoris-lokr
simpletuner train example=cosmos3/nano/default/video.lycoris-lokr
simpletuner train example=cosmos3/nano/default/video-audio.lycoris-lokr
simpletuner train example=cosmos3/super-i2v/default/lycoris-lokr

Validation¶

• Image example: validation_resolution: 512x512
• Video examples: validation_resolution: 768x432
• Video examples: validation_num_video_frames: 49
• Super-I2V example: uses conditioning validation inputs.

References¶

• Diffusers Cosmos3 pipeline
• NVIDIA Cosmos3 collection