NMKD Stable Diffusion GUIでは足りない機能がある
数日前にNMKD Stable Diffusionを導入したという記事を書きました。
毎日少しずつ試しモデルなども変えてみましたが、NMKDではちょっと物足りないところがでてきたり。
箇条書きにまとめるとこんなところです。
ふたばmayのスレでもよく用いられている「Stable Diffusion Web UI(AUTOMATIC1111版)」が高機能ということで自分も導入してみることにしました。
Waifu DiffusionとTrinArt(とりんさま)のモデルの導入
その前にStable Diffusionの派生の新しいモデルが出てたので紹介しておきます。
今は専らWaifu Diffusionを使っています。
Waifu Diffusion
Waifu Diffusionは二次元画像に特化したStable Diffusion1.4の派生モデルです。
下記ページの「Original PyTorch Model Download Link」をクリックすればダウンロードが始まります。
ファイルサイズは7GB以上と大変巨大なのでダウンロード環境には要注意です。
学習モデルの出どころは結構怪しかったり……。
そのうち消されてしまう恐れもあります。
プロンプトに用いるタグの単語は_（アンダーバー）でつながっているのでNMKDだと記号が使えずやりにくいというわけです。
TrinArt Stable Diffusion（とりんさま）
こちらはイラストに特化したStable Diffusion1.4の派生モデルです。
詳細とダウンロードは下記から。
Filesのtrinart2_step～という2.13GBのファイルです。
3ファイルありますが、学習のステップ数が違っておりどれを使うかは好みでとのこと。
モデルの使い方
基本的には元々あるモデルのファイル名（NMKDならstable-diffusion-1.4.ckpt）へリネームすれば使えます。
元のファイルのバックアップを取っておくのをお忘れなく。
モデルを変えて画像を生成すると同じ呪文でもぜんぜん違うテイストの画像が出ます。
そのモデルに合った呪文というのがありますので再度呪文を作り直した方が良い場合が多いです。
Stable Diffusion Web UI(AUTOMATIC1111版)をローカル環境に導入
環境の導入
Stable Diffusion Web UI(AUTOMATIC1111版)は一発で入れられるNMKDとは違い導入は結構めんどくさいです。
下記を参考にして導入しました。
自分のPCに導入するにはPythonのインストール・Gitのインストール・CUDAのインストールが前提で必要です。
1つ1つ入れていきました。
次にAUTOMATIC1111版Stable Diffusion web UIをダウンロードして展開。
モデルは既にダウンロードしているもの（Stable Diffusion1.4・Waifu Diffusion・TrinArt）を使うのでここではダウンロードせず。
GFPGANで1つ問題が。
最新のファイルは「GFPGANv1.4.pth」なのですが、それを入れて実行した時読み込んでくれませんでした。
過去のリリースから「GFPGANv1.3.pth」をダウンロードして入れないとダメみたいです。
ここまでできたら「webui.bat」を実行。
初回はセットアップしているので時間がかかります。
無事に完了してコマンドプロンプトに「Running on local URL: http://127.0.0.1:7860」が出たらブラウザでそのURLにアクセスすると画像生成のUIが現れます。
プロンプトを入れてGenerateをクリックすると画像が生成され、その画像は「outputs\txt2img-images」に保存されていました。
Batch Countを変え複数の画像を生成すると「outputs\txt2img-grids」にグリッド状に1枚にまとめられた画像が保存されます。これは便利すぎる……。
細かい使い方は下記記事を参照。
.ckptファイルは「models」フォルダの中に入れておきます。
そうするとWebUIのSetteingsの下の方でmodelsに入れたモデルを切り替えられるようになります。
バージョンアップで変わりました。便利ですね。
スマホからでもアクセスできるように
初期状態ではWebUIは完全にローカルPC上でしかアクセスできません。
ネットワーク上にある機器（スマホなど）からでもWebUIにアクセスできるようにしたいので設定を変更します。
Stable Diffusion WebUIのファイルをダウンロードしたGithubの説明に書いてありましたのでそのようにバッチファイルを作成します。
webui.batと同じフォルダにバッチファイルを新規作成し（ファイル名はわかれば何でもOK）テキストエディタで中身に下記を書いて保存します。
@echo off
set COMMANDLINE_ARGS=--listen
call webui.batStable Diffusion Web UIの起動はそのbatファイルを実行するだけです。
あとはWindows側で7860番ポートを開放すれば良いかと思います。
ポート開放は下記記事を参照。
プロファイルは「プライベート」だけにしてください。
スマホからWebUIを見るには
http://PCのIPアドレス:7860/
で見られます。
新環境を試してみた結果
というわけで環境を作りました。
Waifu Diffusionを使って呪文を入れてみた結果がこちら↓
グリッド表示はこんな感じ。
この添い寝する狐っ娘の呪文は下記の通りです。
ultra cute face loli kitsune fox_girl wearing Kimono, lap_pillow, sewayaki_kitsune_no_senko-san, on Bed, Portrait image of a Digital Illustration, full body, Yuri, cell shaded, pixiv illustration, 4k, painted in kyoto animation style by artgerm, by Granblue and Cygames,metart by KANNA HASHIMOTO
除外Prompt：furry
Steps: 70, Sampler: Euler a, CFG scale: 9, Seed: 698926974, Size: 640x384Stable Diffusion Web UI(AUTOMATIC1111)では除外するPromptを指定できるのは便利ですね。
先程の狐っ娘はfurryを除外しないとかなりケモくなってしまいます。
他にも使えそうな機能はたくさんありますが全部は追いきれないです。
少しずつ使って覚えていきます。
[追記] Stable Diffusionや作った画像をまとめるwikiを立てました
他にも画像を作成しましたがえっちなのでここには貼れません……。
Waifu Diffusionは服を指定しないと裸にしがちなのです……。
こっそり画像をまとめてwikiにアップしました↓
その他Stable Diffusionに関する情報もwikiでまとめています。
AIモデルのダウンロード場所などですね。
またAI画像生成で何かありましたら記事にします。
よろしくお願いします。
コメント