Stable DiffusionにLoraを導入する

今回の内容

Stable DiffusionにLoraを導入して北斎風の画像を生成する方法を紹介します

Loraをダウンロードする

以下のページからHokusai Style (Thirty-six+ Views of Mount Fuji)をダウンロードします

ダウンロードしたファイルをStable Diffusionのフォルダに格納する

ダウンロードしたファイルを切り取りフォルダに格納します
格納するのは「stable-diffusion-webui」フォルダ下の以下のフォルダ内です
stable-diffusion-webui/models/Lora

stable diffusionを起動してLoraを適用する

Stable Diffusionを起動します
Loraタブを選択します
Hokusai03をクリックします
Loraタブを選択してもHokusai03がない場合は右端の更新マークをクリックしてください

Hokusai03をクリックするとプロンプトに以下のように表示されます

次にプロンプトにトリガーワードを書き込みます
トリガーワードはLoraをダウンロードしたページに記載されています
この場合「Hokusai style」「painting」がトリガーワードなのでプロンプトに書き込みます

実際に画像を生成してみる

その他自分が生成したい画像にあったプロンプトとネガティブプロンプトを書き込み画像を生成します
こんな画像が生成されました
もう少し調整が必要そうですね

今回は以上です

コメント

コメントを投稿

このブログの人気の投稿

kohya_lora_guiをダウンロードしてLoraを作る準備をする

イメージ
今回の内容 全2回シリーズ【kohya_lora_guiでLoraを自作しよう！】の第1回です kohya_lora_guiをダウンロードしてLoraを作る準備をする方法を紹介します kohya_lora_guiをダウンロードする 以下のページからダウンロードします https://github.com/RedRayz/Kohya_lora_param_gui/releases ダウンロードしたzipを展開します 展開する場所は日本語が含まれていない場所が推奨です 今回はCドライブ下にhome/user/kohya_lora_guiというフォルダを作って展開しました kohya_lora_guiをインストールする 展開したらkohya_lora_gui-x.xx.x.x（xはバージョン番号）というフォルダが作成されます 上の画像を例にするとkohya_lora_gui-1.14.1.1ですね そのフォルダを開いてkohya_lora_trainer.exeを開きます train_network.pyがみつかりませんと表示されるので「簡易インストーラー」をクリック クリックすると簡易インストーラーが表示されるので「インストール」をクリック インストール場所を聞かれるので最初に作成したkohya_lora_guiフォルダを選択します ※kohya_lora_gui-1.14.1.1ではなくkohya_lora_guiのほうです 場所を選択するとターミナルが立ち上がってインストールがはじまります ※インストールにはしばらく時間がかかります インストールが完了したらいったんguiを閉じます kohya_lora_guiフォルダを確認するとsd-scriptsというフォルダが作成されているはずです 学習用の画像を格納するフォルダを作成する 次はkohya_lora_guiフォルダに「training」という名前でフォルダを作成します さらにその下に学習用の画像を格納するフォルダを作成します フォルダ名は「繰り返し数_名前」にする必要があります今回は「4_sample」にしました 今回はそのフォルダに富嶽三十六景の画像を格納しました サンプルプリセットをダウンロードする サンプルプリセットはさきほどkohya_lora_guiをダウンロードしたページの 画像の部分のリンクから行...
続きを読む

Stable DiffusionにContorlNet（SDXL版）を導入する

イメージ
今回の内容 全2回シリーズ【ContorlNetを導入して参考画像から線画を抽出する！】の第1回です Stable DiffusionにContorlNet（SDXL版）を導入する方法を紹介します ContorlNetをインストールする 以下の手順でContorlNetをインストールする Stable DiffusionのExtensionsタブを選択 Install form URLタブを選択 「https://github.com/Mikubill/sd-webui-controlnet.git」を入力する Installをクリックしてインストールを開始する ContorlNetを適用する sd-webui-controlnetのチェックボックスにチェックを入れる Apply and restart UIをクリック SDXL版ContorlNetモデルをダウンロードする ターミナルで以下のコマンドを実行します pip install huggingface_hub ターミナルでpythonを起動します python pythonで以下のコマンドを実行します from huggingface_hub import snapshot_download pythonで以下のコマンドを実行します snapshot_download(repo_id="lllyasviel/sd_control_collection", revision="main",allow_patterns="*.safetensors", local_dir="/home/user/stable-diffusion-webui/models/ControlNet") 「"/home/user/stable-diffusion-webui/models/ControlNet"」の部分は好きなフォルダを指定してください ダウンロードしたファイルは「stable-diffusion-webui/models/ControlNet」に格納します 今回は以上です 次回はControlNetを使って参考画像から線画を抽出します。
続きを読む

Stable Diffusionにモデル「WAI-NSFW-illustrious-SDXL」を導入する

イメージ
今回の内容 全3回のシリーズ【とりあえず簡単に画像を生成する！】の第2回です Stable Diffusionにアニメイラスト系モデル「WAI-NSFW-illustrious-SDXL」を導入するまでの流れを紹介します WAI-NSFW-illustrious-SDXLのダウンロード 以下のページからWAI-NSFW-illustrious-SDXLをダウンロードします https://civitai.com/models/827184?modelVersionId=1410435 好きなバージョンを選び（ここではv11.0を選びました）ダウンロードボタンをクリック ファイルサイズが大きいので時間がかかると思います ダウンロードしたファイルをStable Diffusionのフォルダに格納する ダウンロードしたファイルを切り取りフォルダに格納します 格納するのは前回作成した「stable diffusion」フォルダ下の以下のフォルダ内です stable-diffusion-webui/models/stable-diffusion stable diffusionを起動してWAI-NSFW-illustrious-SDXLを導入する Stable Diffusionを起動します Stable Diffusion checkpointのプルダウンメニューから waiNSFWIllustrious_v110.safetensorsを選択します 今回は以上です 次回はプロンプトを入力して実際に画像を生成します
続きを読む