Stable Diffusionを使おう！

今回の内容 全2回シリーズ【kohya_lora_guiでLoraを自作しよう！】の第2回です kohya_lora_guiでLoraを自作する方法を紹介します Stable DiffusionにTaggerを追加する Stable Diffusionを起動します Extensionsタブ→Install from URLタブ→以下のURLを入力→Installをクリック https://github.com/picobyte/stable-diffusion-webui-wd14-tagger.git taggerがインストールされているのを確認したらApply and restart UIをクリック 学習用画像にタグをつける Taggerタブ→Batch from directory 学習画像を格納したフォルダを右クリックしてパスをコピー パスを貼りつける（パスの前後の「"c:」と「"」は不要なので削除する） パスを確認 →InterrogatorがWD14moat tagger v2になっているか確認 →Additional tagsにトリガーワードにしたい文字を入力 →Min tag fraction in batch and interrogationsの値が0にする →「Interrogate」をクリック しばらくするとタグ付けが終わり右側にこのように表示されます Stable Diffusionを閉じます kohya_lora_guiでLoraを作成する kohya_lora_gui.exeを起動します プリセットの読み込みをクリック 前回ダウンロードしたプリセットから選びます 今回はSDXL汎用プリセットを選択しました 学習元モデルを選択（今回はsd_xl_base1.0.safetensors）を選択 ※学習モデルはstable-diffusion-webui/models/Stable-diffusion下にあるものを選択できますが、stable-diffusion-webuiが日本語を含むフォルダ下にある場合はうまく選択できないことがあります。その場合はどこか日本語を含まないフォルダにモデルを移動またはコピーしてそれを選択してください。 教師画像フォルダを選択（今回はtrainingフォルダ）を選択 ※教師画像フォルダは画像...

今回の内容 全2回シリーズ【kohya_lora_guiでLoraを自作しよう！】の第1回です kohya_lora_guiをダウンロードしてLoraを作る準備をする方法を紹介します kohya_lora_guiをダウンロードする 以下のページからダウンロードします https://github.com/RedRayz/Kohya_lora_param_gui/releases ダウンロードしたzipを展開します 展開する場所は日本語が含まれていない場所が推奨です 今回はCドライブ下にhome/user/kohya_lora_guiというフォルダを作って展開しました kohya_lora_guiをインストールする 展開したらkohya_lora_gui-x.xx.x.x（xはバージョン番号）というフォルダが作成されます 上の画像を例にするとkohya_lora_gui-1.14.1.1ですね そのフォルダを開いてkohya_lora_trainer.exeを開きます train_network.pyがみつかりませんと表示されるので「簡易インストーラー」をクリック クリックすると簡易インストーラーが表示されるので「インストール」をクリック インストール場所を聞かれるので最初に作成したkohya_lora_guiフォルダを選択します ※kohya_lora_gui-1.14.1.1ではなくkohya_lora_guiのほうです 場所を選択するとターミナルが立ち上がってインストールがはじまります ※インストールにはしばらく時間がかかります インストールが完了したらいったんguiを閉じます kohya_lora_guiフォルダを確認するとsd-scriptsというフォルダが作成されているはずです 学習用の画像を格納するフォルダを作成する 次はkohya_lora_guiフォルダに「training」という名前でフォルダを作成します さらにその下に学習用の画像を格納するフォルダを作成します フォルダ名は「繰り返し数_名前」にする必要があります今回は「4_sample」にしました 今回はそのフォルダに富嶽三十六景の画像を格納しました サンプルプリセットをダウンロードする サンプルプリセットはさきほどkohya_lora_guiをダウンロードしたページの 画像の部分のリンクから行...

今回の内容 全2回シリーズ【ContorlNetを導入して参考画像から線画を抽出する！】の第2回です ControlNetの機能Scribbleで参考画像から線画を抽出する方法を紹介します 参考画像から線画を抽出する ContorlNetの「◀」ボタンをクリックして開きます 線画を抽出したい画像をドロップして Scriblleをチェック Preprocessorのプルダウンメニューからどれかを選択（色々試してみてください） Modelのプルダウンメニューのなかから名前にscriblleを含むものを選択（これも色々試してみてください） PreprocessorとModelの間にある火花のようなボタンをクリック 線画が抽出されます 適当なプロンプトを入力しGenerateをクリックすると線画とプロンプトに沿った画像を生成します こんな画像が生成されました 今回は以上です

今回の内容 全2回シリーズ【ContorlNetを導入して参考画像から線画を抽出する！】の第1回です Stable DiffusionにContorlNet（SDXL版）を導入する方法を紹介します ContorlNetをインストールする 以下の手順でContorlNetをインストールする Stable DiffusionのExtensionsタブを選択 Install form URLタブを選択 「https://github.com/Mikubill/sd-webui-controlnet.git」を入力する Installをクリックしてインストールを開始する ContorlNetを適用する sd-webui-controlnetのチェックボックスにチェックを入れる Apply and restart UIをクリック SDXL版ContorlNetモデルをダウンロードする ターミナルで以下のコマンドを実行します pip install huggingface_hub ターミナルでpythonを起動します python pythonで以下のコマンドを実行します from huggingface_hub import snapshot_download pythonで以下のコマンドを実行します snapshot_download(repo_id="lllyasviel/sd_control_collection", revision="main",allow_patterns="*.safetensors", local_dir="/home/user/stable-diffusion-webui/models/ControlNet") 「"/home/user/stable-diffusion-webui/models/ControlNet"」の部分は好きなフォルダを指定してください ダウンロードしたファイルは「stable-diffusion-webui/models/ControlNet」に格納します 今回は以上です 次回はControlNetを使って参考画像から線画を抽出します。

今回の内容 Dynamic Promptsを導入してプロンプトの一部をランダム化する方法を紹介します Dynamic Promptsをインストールする Extensionsタブ→Install from URLタブと開き 以下のURLを入力してInstallをクリック https://github.com/adieyal/sd-dynamic-prompts.git インストールが終わったらExtensionsタブ→Installedタブに移動 dynamic-promptsがインストールされているのを確認しApply and restart UIをクリック Dynamic Promptsを適用する Dynamic Promptsの「◀」ボタンをクリックして開きます Dynamic Prompts enabledのチェックボックスにチェックを入れます プロンプトの一部をランダム化する プロンプトにランダム化したい要素を以下のように{}の中に|で区切って記述します {cat |dog |bird } これで猫と犬と鳥の画像がランダムに生成されます ランダムに12枚の猫と犬と鳥の画像が生成されました 今回は以上です

今回の内容 画像からメタデータを読み取る方法を紹介します 画像を読み込む PNG Infoタブを開きデータを読み込みたい画像をドロップします 画像にメタデータがある場合は右側に表示されます 今回は以上です

今回の内容 Hires.fixを使って複数枚低画質で生成した画像のうち1枚を高画質化する方法を紹介します Hires.fixを使う 低画質で生成した画像のうち高画質化したい画像をクリックして「♻」ボタンをクリック Hires.fixのチェックボックスにチェックを入れるとHires.fixが開きます 適当にUpscalerを選びます（色々試してみてください） Upscale byで倍率を選びます（HDからフルHDにしたい場合は1.5ですね） Generateをクリックすると高画質化が始まります 今回は以上です

今回の内容 Batch countを設定して複数の画像を生成する方法を紹介します Batch countを設定する Batch countに数字を入力すると入力した枚数画像が生成されます ※このときSeedを-1にしておかないと同じ画像が複数枚生成されてしまいます かなり時間がかかりますが12枚の画像が生成されました 今回は以上です

今回の内容 Image Browserを導入して以前生成した画像の設定を調べる方法を紹介します Image Browserのインストール Extensionsタブ→Install from URLタブと開き 以下のURLを入力してInstallをクリック https://github.com/AlUlkesh/stable-diffusion-webui-images-browser.git インストールが終わったらExtensionsタブ→Installedタブに移動 image-browserがインストールされているのを確認しApply and restart UIをクリック Image Browserタブで以前生成した画像を確認する Image Browserタブに移動しFirst Pageをクリックすると画像が一覧で表示されます 表示された画像のうちのひとつを選ぶと右側に設定が表示されます Send to txt2imgをクリックすればプロンプトやシード値などがtxt2imgに送られます txt2imgタブに移動してGenerateをクリックすれば同じ画像が生成されます 今回は以上です

今回の内容 Stable DiffusionにLoraを導入して北斎風の画像を生成する方法を紹介します Loraをダウンロードする 以下のページからHokusai Style (Thirty-six+ Views of Mount Fuji)をダウンロードします https://civitai.com/models/137656/hokusai-style-thirty-six-views-of-mount-fuji ダウンロードしたファイルをStable Diffusionのフォルダに格納する ダウンロードしたファイルを切り取りフォルダに格納します 格納するのは「stable-diffusion-webui」フォルダ下の以下のフォルダ内です stable-diffusion-webui/models/Lora stable diffusionを起動してLoraを適用する Stable Diffusionを起動します Loraタブを選択します Hokusai03をクリックします Loraタブを選択してもHokusai03がない場合は右端の更新マークをクリックしてください Hokusai03をクリックするとプロンプトに以下のように表示されます 次にプロンプトにトリガーワードを書き込みます トリガーワードはLoraをダウンロードしたページに記載されています この場合「Hokusai style」「painting」がトリガーワードなのでプロンプトに書き込みます 実際に画像を生成してみる その他自分が生成したい画像にあったプロンプトとネガティブプロンプトを書き込み画像を生成します こんな画像が生成されました もう少し調整が必要そうですね 今回は以上です

今回の内容 Stable Diffusion XLを導入する方法を紹介します Stable Diffusion XL（SDXL）の概要 Stable Diffusion XLはStable Diffusionの最新のベースモデルで、多くの派生モデルがあります 以前紹介した WAI-NSFW-illustrious-SDXLも派生モデルのひとつです Stable Diffusion XLを導入する Stable Diffusion XLの導入は以下の3つのページからベースモデル、リファイナー、VAEの3つのファイルをダウンロードしてStable Diffusionのフォルダに格納するだけです ベースモデル https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main リファイナー https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/tree/main VAE https://huggingface.co/stabilityai/sdxl-vae/tree/main 上2つは大きなファイルなので時間がかかると思います気長に待ちましょう ダウンロードしたファイルのうちベースモデルとリファイナーは「stable-diffusion-webui」フォルダ下の以下のフォルダに格納します stable-diffusion-webui/models/Stable-diffusion VAEのファイルは以下のフォルダに格納します stable-diffusion-webui/models/VAE Stable Diffusion XLを使ってみる 以下の赤枠のプルダウンメニューからベースモデル、VAE、リファイナーを選択すれば簡単に使うことが出来ます ※SD_VAEのプルダウンメニューの表示方法は こちら 適当にプロンプトとネガティブプロンプトを書き込んで生成してみましょう こんな画像が生成されました 今回は以上です