Kandinsky 5.0 Video クイックスタート¶

この例では、HunyuanVideo VAE とデュアルテキストエンコーダを使用して Kandinsky 5.0 Video LoRA (Lite または Pro) をトレーニングします。

ハードウェア要件¶

Kandinsky 5.0 Video は重量級モデルです。以下を組み合わせます: 1. Qwen2.5-VL (7B): 巨大な視覚言語テキストエンコーダ。 2. HunyuanVideo VAE: 高品質な 3D VAE。 3. Video Transformer: 複雑な DiT アーキテクチャ。

この構成は VRAM を大量に消費しますが、「Lite」と「Pro」で必要量が異なります。

• Lite モデル学習: 驚くほど効率的で、~13GB VRAM でも学習可能。
• 注意: 初期の VAE 事前キャッシュでは巨大な HunyuanVideo VAE のため VRAM が大きく必要になります。キャッシュ時だけ CPU オフロードやより大きな GPU が必要になる可能性があります。
• ヒント: config.json に "offload_during_startup": true を設定し、VAE とテキストエンコーダが同時に GPU に載らないようにすると、事前キャッシュ時のメモリ圧力を大きく下げられます。
• VAE が OOM する場合: --vae_enable_patch_conv=true を設定して HunyuanVideo VAE の 3D Conv を分割します。少し遅くなりますがピーク VRAM が下がります。
• システム RAM: Lite モデルで 45GB RAM が快適でした。安全のため 64GB+ を推奨します。

前提条件¶

Python 3.12 がインストールされていることを確認してください。

python --version

インストール¶

pip install 'simpletuner[cuda]'

# CUDA 13 / Blackwell users (NVIDIA B-series GPUs)
pip install 'simpletuner[cuda13]' --extra-index-url https://download.pytorch.org/whl/cu130

詳細は INSTALL.md を参照してください。

環境のセットアップ¶

Web インターフェース¶

simpletuner server

http://localhost:8001 でアクセスできます。

手動設定¶

ヘルパースクリプトを実行:

simpletuner configure

またはサンプルをコピーして手動編集:

cp config/config.json.example config/config.json

設定パラメータ¶

Kandinsky 5 Video の主要設定:

• model_family: kandinsky5-video
• model_flavour:
• t2v-lite-sft-5s: Lite モデル、約 5 秒出力。(デフォルト)
• t2v-lite-sft-10s: Lite モデル、約 10 秒出力。
• t2v-pro-sft-5s-hd: Pro モデル、約 5 秒、高解像度学習。
• t2v-pro-sft-10s-hd: Pro モデル、約 10 秒、高解像度学習。
• i2v-lite-5s: 画像から動画の Lite、5 秒出力 (コンディショニング画像が必要)。
• i2v-pro-sft-5s: 画像から動画の Pro SFT、5 秒出力 (コンディショニング画像が必要)。
• (上記すべてに pretrain バリアントあり)
• train_batch_size: 1。A100/H100 以外では増やさないでください。
• validation_resolution:
• 512x768 がテスト向けの安全なデフォルト。
• 720x1280 (720p) は可能ですが重いです。
• validation_num_video_frames: VAE の圧縮 (4x) に一致する必要があります。
• 5 秒 (約 12-24fps) の場合は 61 か 49。
• 公式: (frames - 1) % 4 == 0。
• validation_guidance: 5.0。
• frame_rate: デフォルトは 24。

任意: CREPA 時間方向正則化¶

ちらつきを抑え、被写体をフレーム間で安定させるには: - Training → Loss functions で CREPA を有効化。 - 推奨初期値: Block Index = 8, Weight = 0.5, Adjacent Distance = 1, Temporal Decay = 1.0。 - 既定のビジョンエンコーダ (dinov2_vitg14, サイズ 518) を使い、必要なら dinov2_vits14 + 224 へ。 - 初回は DINOv2 重み取得のためネットワーク (またはキャッシュ済み torch hub) が必要。 - Drop VAE Encoder はキャッシュ済み latent だけで学習する場合のみ有効にし、それ以外はオフ。

高度な実験的機能¶

[
  {
    "id": "my-video-dataset",
    "type": "local",
    "dataset_type": "video",
    "instance_data_dir": "datasets/videos",
    "caption_strategy": "textfile",
    "resolution": 512,
    "video": {
        "num_frames": 61,
        "min_frames": 61,
        "frame_rate": 24,
        "bucket_strategy": "aspect_ratio"
    },
    "repeats": 10
  },
  {
    "id": "text-embeds",
    "type": "local",
    "dataset_type": "text_embeds",
    "default": true,
    "cache_dir": "cache/text/kandinsky5",
    "disabled": false
  }
]

mkdir -p datasets/videos
</details>

# .mp4 / .mov をここに配置
# キャプション用の .txt を同名で配置

wandb login
huggingface-cli login

simpletuner train

{
  "tread_config": {
    "routes": [
      {
        "selection_ratio": 0.5,
        "start_layer_idx": 2,
        "end_layer_idx": -2
      }
    ]
  }
}

{
  "validation_using_datasets": true,
  "eval_dataset_id": "my-image-dataset"
}