SD3.ja

Stable Diffusion 3¶

この例では、SimpleTunerツールキットを使用してStable Diffusion 3モデルをトレーニングし、loraモデルタイプを使用します。

前提条件¶

Pythonがインストールされていることを確認してください。SimpleTunerは3.10から3.12で正常に動作します。

以下のコマンドを実行して確認できます:

python --version

Ubuntuでpython 3.12がインストールされていない場合は、以下を試してください:

apt -y install python3.13 python3.13-venv

コンテナイメージの依存関係¶

Vast、RunPod、TensorDock（など）の場合、CUDA 12.2-12.8イメージでCUDA拡張のコンパイルを有効にするには以下が機能します:

apt -y install nvidia-cuda-toolkit

インストール¶

SimpleTunerをpip経由でインストール:

pip install 'simpletuner[cuda]'

# CUDA 13 / Blackwell users (NVIDIA B-series GPUs)
pip install 'simpletuner[cuda13]' --extra-index-url https://download.pytorch.org/whl/cu130

手動インストールまたは開発セットアップについては、インストールドキュメントを参照してください。

AMD ROCmフォローアップ手順¶

AMD MI300Xを使用可能にするには、以下を実行する必要があります:

apt install amd-smi-lib
pushd /opt/rocm/share/amd_smi
python3 -m pip install --upgrade pip
python3 -m pip install .
popd

環境のセットアップ¶

SimpleTunerを実行するには、設定ファイル、データセットとモデルのディレクトリ、およびデータローダー設定ファイルをセットアップする必要があります。

設定ファイル¶

実験的なスクリプトconfigure.pyを使用すると、インタラクティブなステップバイステップの設定を通じて、このセクションを完全にスキップできる可能性があります。これには、一般的な落とし穴を回避するのに役立つセーフティ機能が含まれています。

注意: これはデータローダーを設定しません。後で手動で設定する必要があります。

実行するには:

simpletuner configure

⚠️ Hugging Face Hubに容易にアクセスできない国にいるユーザーは、使用している$SHELLに応じて、~/.bashrcまたは~/.zshrcにHF_ENDPOINT=https://hf-mirror.comを追加する必要があります。

手動で設定したい場合:

config/config.json.exampleをconfig/config.jsonにコピー:

cp config/config.json.example config/config.json

そこで、以下の変数を変更する必要があります:

{
  "model_type": "lora",
  "model_family": "sd3",
  "pretrained_model_name_or_path": "stabilityai/stable-diffusion-3.5-large",
  "output_dir": "/home/user/outputs/models",
  "validation_resolution": "1024x1024,1280x768",
  "validation_guidance": 3.0,
  "validation_prompt": "your main test prompt here",
  "user_prompt_library": "config/user_prompt_library.json"
}

• pretrained_model_name_or_path - stabilityai/stable-diffusion-3.5-largeに設定します。このモデルをダウンロードするには、Huggingfaceにログインしてアクセス権を付与される必要があることに注意してください。Huggingfaceへのログインについては、このチュートリアルの後半で説明します。
• 古いSD3.0 Medium（2B）をトレーニングしたい場合は、代わりにstabilityai/stable-diffusion-3-medium-diffusersを使用してください。
• MODEL_TYPE - loraに設定します。
• MODEL_FAMILY - sd3に設定します。
• OUTPUT_DIR - チェックポイントと検証画像を保存するディレクトリに設定します。ここではフルパスを使用することをお勧めします。
• VALIDATION_RESOLUTION - SD3は1024pxモデルなので、1024x1024に設定できます。
• さらに、SD3はマルチアスペクトバケットでファインチューニングされており、カンマで区切って他の解像度を指定できます: 1024x1024,1280x768
• VALIDATION_GUIDANCE - SD3は非常に低い値から恩恵を受けます。3.0に設定します。

Mac M-seriesマシンを使用している場合は、さらにいくつかあります:

• mixed_precisionはnoに設定する必要があります。

高度な実験的機能¶

{
  "base_model_precision": "int8-quanto",
  "text_encoder_1_precision": "no_change",
  "text_encoder_2_precision": "no_change",
  "text_encoder_3_precision": "no_change",
  "optimizer": "adamw_bf16"
}

</details>

# 選択肢: int8-quanto, int4-quanto, int2-quanto, fp8-quanto
# int8-quantoは単一サブジェクトのdreambooth LoRAでテストされました。
# fp8-quantoはAppleシステムでは動作しません。intレベルを使用する必要があります。
# int2-quantoはかなり極端で、rank-1 LoRA全体を約13.9GB VRAMに収めます。
# 設定を大きく攻める場合は、安定性に注意してください。
export TRAINER_EXTRA_ARGS="--base_model_precision=int8-quanto"

# テキストエンコーダーをフル精度のままにして、テキスト埋め込みを完璧にしたいかもしれません。
# トレーニング前にテキストエンコーダーをアンロードするので、トレーニング時間中は問題ありません - 事前キャッシング中のみです。
# 必要に応じて、int4またはint8モードで量子化して実行することもできます。
export TRAINER_EXTRA_ARGS="${TRAINER_EXTRA_ARGS} --text_encoder_1_precision=no_change --text_encoder_2_precision=no_change"

# モデルを量子化する場合、--base_model_default_dtypeはデフォルトでbf16に設定されます。このセットアップにはadamw_bf16が必要ですが、最もメモリを節約します。
# adamw_bf16はbf16トレーニングのみをサポートしますが、他のオプティマイザはbf16またはfp32トレーニング精度の両方をサポートします。
export OPTIMIZER="adamw_bf16"

[
  {
    "id": "pseudo-camera-10k-sd3",
    "type": "local",
    "crop": true,
    "crop_aspect": "square",
    "crop_style": "center",
    "resolution": 1024,
    "minimum_image_size": 0,
    "maximum_image_size": 1024,
    "target_downsample_size": 1024,
    "resolution_type": "pixel_area",
    "cache_dir_vae": "/home/user/simpletuner/output/cache/vae/sd3/pseudo-camera-10k",
    "instance_data_dir": "/home/user/simpletuner/datasets/pseudo-camera-10k",
    "disabled": false,
    "skip_file_discovery": "",
    "caption_strategy": "filename",
    "metadata_backend": "discovery"
  },
  {
    "id": "text-embeds",
    "type": "local",
    "dataset_type": "text_embeds",
    "default": true,
    "cache_dir": "cache/text/sd3/pseudo-camera-10k",
    "disabled": false,
    "write_batch_size": 128
  }
]

mkdir -p datasets
pushd datasets
    huggingface-cli download --repo-type=dataset bghira/pseudo-camera-10k --local-dir=pseudo-camera-10k
popd

wandb login

huggingface-cli login

bash train.sh

{
  "--validation_guidance_skip_layers": [7, 8, 9],
  "--validation_guidance_skip_layers_start": 0.01,
  "--validation_guidance_skip_layers_stop": 0.2,
  "--validation_guidance_skip_scale": 2.8,
  "--validation_guidance": 4.0,
  "--flow_use_uniform_schedule": true,
  "--flow_schedule_auto_shift": true
}

{
  "validation_preview": true,
  "validation_preview_steps": 1
}