Cosmos3 क्विकस्टार्ट¶

NVIDIA Cosmos3 के लिए LyCORIS LoKr ट्रेन करें।

मॉडल नोट्स¶

• model_family: cosmos3
• default model_flavour: nano
• supported flavours:

• Cosmos3 tokenizer IDs सीधे उपयोग करता है।
• Positive prompts tokenization के दौरान Cosmos3 JSON captions में बदलते हैं।
• Negative prompts JSON में नहीं बदलते।
• text_embeds backend न जोड़ें।
• Image और video samples normal VAE cache उपयोग करते हैं।
• Video + audio samples normal VAE cache और audio VAE cache उपयोग करते हैं।
• super-i2v को conditioning latents चाहिए।
• Action और policy datasets यहां शामिल नहीं हैं।

Components¶

SimpleTuner default रूप से split Cosmos3 transformer components उपयोग करता है:

• cosmos3_reasoner_component: auto रखें।
• cosmos3_generator_component: auto रखें।
• Reasoner outputs text embed cache path से cache होते हैं।
• text_cache_disable: true training में frozen reasoner फिर चलाता है।

Hardware¶

• model_flavour: nano से शुरू करें।
• mixed_precision: bf16 उपयोग करें।
• base_model_precision: no_change से शुरू करें।
• train_batch_size: 1 रखें।
• gradient_checkpointing enable करें।
• Transformer load-time memory घटाने के लिए split generator components उपयोग करें।

Installation¶

pip install 'simpletuner[cuda]'

# CUDA 13 / Blackwell users
pip install 'simpletuner[cuda13]' --extra-index-url https://download.pytorch.org/whl/cu130

Development install:

python3.13 -m venv .venv
. .venv/bin/activate
pip install -e .

Example Configs¶

48g और 80g इमेज उदाहरण nano इमेज LoKr recipe के memory-size tuned variants हैं। दोनों 1024px aspect-ratio backend इस्तेमाल करते हैं। 48g config gradient_checkpointing_interval: 2 के साथ gradient checkpointing रखता है; 80g config gradient checkpointing बंद करके flash-attn-3-hub enable करता है।

Required Fields¶

• model_family: cosmos3
• model_type: lora
• lora_type: lycoris
• base_model_precision: no_change
• mixed_precision: bf16
• train_batch_size: 1
• gradient_checkpointing: true

Dataset Notes¶

Image¶

• Dataset: RareConcepts/Domokun
• Backend: config/examples/_shared/multidatabackend-cosmos3-domokun-512px.json
• Backend type: huggingface
• Caption strategy: instanceprompt
• Text embed cache: reasoner cache only
• Audio cache: not used

Video¶

• Dataset: sayakpaul/video-dataset-disney-organized
• Backend: config/examples/_shared/multidatabackend-cosmos3-disney-video-480p+49f.json
• Backend type: huggingface
• Columns: video, prompt
• Text embed cache: reasoner cache only
• Audio cache: not used

Video With Audio¶

• Dataset: bghira/Synchronised-Drumming-Gemini3Captions
• Backend: config/examples/_shared/multidatabackend-cosmos3-drumming-video-audio-480p+49f.json
• Backend type: local
• Files: .mpeg videos with adjacent .txt captions
• Text embed cache: reasoner cache only
• Audio cache: video backend से generated

Training से पहले dataset download करें:

huggingface-cli download \
  --repo-type=dataset \
  bghira/Synchronised-Drumming-Gemini3Captions \
  --local-dir datasets/Synchronised-Drumming-Gemini3Captions

Audio backend block:

"audio": {
  "auto_split": true,
  "sample_rate": 16000,
  "channels": 1,
  "duration_interval": 3.0,
  "allow_zero_audio": false
}

Super-I2V¶

• Dataset: sayakpaul/video-dataset-disney-organized
• Backend: config/examples/_shared/multidatabackend-cosmos3-disney-i2v-480p+49f.json
• Backend type: huggingface
• Columns: video, prompt
• video.is_i2v: true
• Conditioning type: reference_strict
• Conditioning latents: required
• Audio cache: not used

I2V backend video dataset में यह सेट करता है:

"video": {
  "num_frames": 49,
  "min_frames": 49,
  "is_i2v": true
}

SimpleTuner इस flag से paired strict reference conditioning backend बनाता है।

Run¶

simpletuner train example=cosmos3/nano/default/image.lycoris-lokr
simpletuner train example=cosmos3/nano/48g/legacy-image.lycoris-lokr
simpletuner train example=cosmos3/nano/80g/legacy-image.lycoris-lokr
simpletuner train example=cosmos3/nano/default/video.lycoris-lokr
simpletuner train example=cosmos3/nano/default/video-audio.lycoris-lokr
simpletuner train example=cosmos3/super-i2v/default/lycoris-lokr

Validation¶

• Image example: validation_resolution: 512x512
• Video examples: validation_resolution: 768x432
• Video examples: validation_num_video_frames: 49
• Super-I2V example: conditioning validation inputs उपयोग करता है।

References¶

• Diffusers Cosmos3 pipeline
• NVIDIA Cosmos3 collection