Cosmos3 クイックスタート¶

NVIDIA Cosmos3 の LyCORIS LoKr をトレーニングします。

モデルメモ¶

• model_family: cosmos3
• デフォルト model_flavour: nano
• 対応 flavour:

• Cosmos3 は tokenizer ID を直接使います。
• Positive prompts は tokenization 中に Cosmos3 JSON captions へ変換されます。
• Negative prompts は JSON に変換されません。
• text_embeds backend は追加しません。
• 画像と動画サンプルは通常の VAE cache を使います。
• 動画 + 音声サンプルは通常の VAE cache と audio VAE cache を使います。
• super-i2v には conditioning latents が必要です。
• action と policy dataset は扱いません。

Components¶

SimpleTuner はデフォルトで分割済み Cosmos3 transformer components を使います:

• cosmos3_reasoner_component: auto のままにします。
• cosmos3_generator_component: auto のままにします。
• Reasoner outputs は text embed cache path で cache されます。
• text_cache_disable: true は training 中に frozen reasoner を毎回実行します。

Hardware¶

• model_flavour: nano から始めます。
• mixed_precision: bf16 を使います。
• base_model_precision: no_change から始めます。
• train_batch_size: 1 を維持します。
• gradient_checkpointing を有効にします。
• Transformer load-time memory を減らすには split generator components を使います。

Installation¶

pip install 'simpletuner[cuda]'

# CUDA 13 / Blackwell users
pip install 'simpletuner[cuda13]' --extra-index-url https://download.pytorch.org/whl/cu130

Development install:

python3.13 -m venv .venv
. .venv/bin/activate
pip install -e .

Example Configs¶

48g と 80g の画像例は、nano 画像 LoKr レシピをメモリ容量向けに調整したバリアントです。どちらも 1024px のアスペクト比対応バックエンドを使います。48g 設定は gradient_checkpointing_interval: 2 で gradient checkpointing を維持し、80g 設定は gradient checkpointing を無効化して flash-attn-3-hub を有効化します。

Required Fields¶

• model_family: cosmos3
• model_type: lora
• lora_type: lycoris
• base_model_precision: no_change
• mixed_precision: bf16
• train_batch_size: 1
• gradient_checkpointing: true

Dataset Notes¶

Image¶

• Dataset: RareConcepts/Domokun
• Backend: config/examples/_shared/multidatabackend-cosmos3-domokun-512px.json
• Backend type: huggingface
• Caption strategy: instanceprompt
• Text embed cache: reasoner cache only
• Audio cache: not used

Video¶

• Dataset: sayakpaul/video-dataset-disney-organized
• Backend: config/examples/_shared/multidatabackend-cosmos3-disney-video-480p+49f.json
• Backend type: huggingface
• Columns: video, prompt
• Text embed cache: reasoner cache only
• Audio cache: not used

Video With Audio¶

• Dataset: bghira/Synchronised-Drumming-Gemini3Captions
• Backend: config/examples/_shared/multidatabackend-cosmos3-drumming-video-audio-480p+49f.json
• Backend type: local
• Files: .mpeg videos with adjacent .txt captions
• Text embed cache: reasoner cache only
• Audio cache: video backend から生成

Training 前に dataset を download します:

huggingface-cli download \
  --repo-type=dataset \
  bghira/Synchronised-Drumming-Gemini3Captions \
  --local-dir datasets/Synchronised-Drumming-Gemini3Captions

Audio backend block:

"audio": {
  "auto_split": true,
  "sample_rate": 16000,
  "channels": 1,
  "duration_interval": 3.0,
  "allow_zero_audio": false
}

Super-I2V¶

• Dataset: sayakpaul/video-dataset-disney-organized
• Backend: config/examples/_shared/multidatabackend-cosmos3-disney-i2v-480p+49f.json
• Backend type: huggingface
• Columns: video, prompt
• video.is_i2v: true
• Conditioning type: reference_strict
• Conditioning latents: required
• Audio cache: not used

I2V backend は video dataset に次を設定します:

"video": {
  "num_frames": 49,
  "min_frames": 49,
  "is_i2v": true
}

SimpleTuner はこの flag から paired strict reference conditioning backend を作成します。

Run¶

simpletuner train example=cosmos3/nano/default/image.lycoris-lokr
simpletuner train example=cosmos3/nano/48g/legacy-image.lycoris-lokr
simpletuner train example=cosmos3/nano/80g/legacy-image.lycoris-lokr
simpletuner train example=cosmos3/nano/default/video.lycoris-lokr
simpletuner train example=cosmos3/nano/default/video-audio.lycoris-lokr
simpletuner train example=cosmos3/super-i2v/default/lycoris-lokr

Validation¶

• Image example: validation_resolution: 512x512
• Video examples: validation_resolution: 768x432
• Video examples: validation_num_video_frames: 49
• Super-I2V example: conditioning validation inputs を使います。

References¶

• Diffusers Cosmos3 pipeline
• NVIDIA Cosmos3 collection