Stable DiffusionにContorlNet（SDXL版）を導入する

今回の内容

全2回シリーズ【ContorlNetを導入して参考画像から線画を抽出する！】の第1回です

Stable DiffusionにContorlNet（SDXL版）を導入する方法を紹介します

ContorlNetをインストールする

以下の手順でContorlNetをインストールする
  1. Stable DiffusionのExtensionsタブを選択
  2. Install form URLタブを選択
  3. 「https://github.com/Mikubill/sd-webui-controlnet.git」を入力する
  4. Installをクリックしてインストールを開始する

ContorlNetを適用する

  1. sd-webui-controlnetのチェックボックスにチェックを入れる
  2. Apply and restart UIをクリック

SDXL版ContorlNetモデルをダウンロードする

ターミナルで以下のコマンドを実行します

pip install huggingface_hub

ターミナルでpythonを起動します

python

pythonで以下のコマンドを実行します

from huggingface_hub import snapshot_download

pythonで以下のコマンドを実行します

snapshot_download(repo_id="lllyasviel/sd_control_collection", revision="main",allow_patterns="*.safetensors", local_dir="/home/user/stable-diffusion-webui/models/ControlNet")


「"/home/user/stable-diffusion-webui/models/ControlNet"」の部分は好きなフォルダを指定してください

ダウンロードしたファイルは「stable-diffusion-webui/models/ControlNet」に格納します

今回は以上です

次回はControlNetを使って参考画像から線画を抽出します。


コメント

コメントを投稿

このブログの人気の投稿

kohya_lora_guiをダウンロードしてLoraを作る準備をする

イメージ
今回の内容 全2回シリーズ【kohya_lora_guiでLoraを自作しよう！】の第1回です kohya_lora_guiをダウンロードしてLoraを作る準備をする方法を紹介します kohya_lora_guiをダウンロードする 以下のページからダウンロードします https://github.com/RedRayz/Kohya_lora_param_gui/releases ダウンロードしたzipを展開します 展開する場所は日本語が含まれていない場所が推奨です 今回はCドライブ下にhome/user/kohya_lora_guiというフォルダを作って展開しました kohya_lora_guiをインストールする 展開したらkohya_lora_gui-x.xx.x.x（xはバージョン番号）というフォルダが作成されます 上の画像を例にするとkohya_lora_gui-1.14.1.1ですね そのフォルダを開いてkohya_lora_trainer.exeを開きます train_network.pyがみつかりませんと表示されるので「簡易インストーラー」をクリック クリックすると簡易インストーラーが表示されるので「インストール」をクリック インストール場所を聞かれるので最初に作成したkohya_lora_guiフォルダを選択します ※kohya_lora_gui-1.14.1.1ではなくkohya_lora_guiのほうです 場所を選択するとターミナルが立ち上がってインストールがはじまります ※インストールにはしばらく時間がかかります インストールが完了したらいったんguiを閉じます kohya_lora_guiフォルダを確認するとsd-scriptsというフォルダが作成されているはずです 学習用の画像を格納するフォルダを作成する 次はkohya_lora_guiフォルダに「training」という名前でフォルダを作成します さらにその下に学習用の画像を格納するフォルダを作成します フォルダ名は「繰り返し数_名前」にする必要があります今回は「4_sample」にしました 今回はそのフォルダに富嶽三十六景の画像を格納しました サンプルプリセットをダウンロードする サンプルプリセットはさきほどkohya_lora_guiをダウンロードしたページの 画像の部分のリンクから行...
続きを読む

Stable Diffusionにモデル「WAI-NSFW-illustrious-SDXL」を導入する

イメージ
今回の内容 全3回のシリーズ【とりあえず簡単に画像を生成する！】の第2回です Stable Diffusionにアニメイラスト系モデル「WAI-NSFW-illustrious-SDXL」を導入するまでの流れを紹介します WAI-NSFW-illustrious-SDXLのダウンロード 以下のページからWAI-NSFW-illustrious-SDXLをダウンロードします https://civitai.com/models/827184?modelVersionId=1410435 好きなバージョンを選び（ここではv11.0を選びました）ダウンロードボタンをクリック ファイルサイズが大きいので時間がかかると思います ダウンロードしたファイルをStable Diffusionのフォルダに格納する ダウンロードしたファイルを切り取りフォルダに格納します 格納するのは前回作成した「stable diffusion」フォルダ下の以下のフォルダ内です stable-diffusion-webui/models/stable-diffusion stable diffusionを起動してWAI-NSFW-illustrious-SDXLを導入する Stable Diffusionを起動します Stable Diffusion checkpointのプルダウンメニューから waiNSFWIllustrious_v110.safetensorsを選択します 今回は以上です 次回はプロンプトを入力して実際に画像を生成します
続きを読む