Stable Diffusion Web UI(AUTOMATIC1111版)を導入したのとWaifu DiffusionやTrinArtのモデルを使ってみたのと【AI画像生成】

スポンサーリンク

NMKD Stable Diffusion GUIでは足りない機能がある

数日前にNMKD Stable Diffusionを導入したという記事を書きました。
毎日少しずつ試しモデルなども変えてみましたが、NMKDではちょっと物足りないところがでてきたり。
箇条書きにまとめるとこんなところです。

NMKD Stable Diffusion1.3で物足りないところ
  • Promptに記号が使えない
  • Grid状に画像を並べられない
  • Negative prompt(キーワードの要素を消し去る)が使用できない
  • モデルの入れ替えにはファイルのリネームが必要

ふたばmayのスレでもよく用いられている「Stable Diffusion Web UI(AUTOMATIC1111版)」が高機能ということで自分も導入してみることにしました。

Waifu DiffusionとTrinArt(とりんさま)のモデルの導入

その前にStable Diffusionの派生の新しいモデルが出てたので紹介しておきます。
今は専らWaifu Diffusionを使っています。

Waifu Diffusion

Waifu Diffusionは二次元画像に特化したStable Diffusion1.4の派生モデルです。
下記ページの「Original PyTorch Model Download Link」をクリックすればダウンロードが始まります。
ファイルサイズは7GB以上と大変巨大なのでダウンロード環境には要注意です。

hakurei/waifu-diffusion · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

学習モデルの出どころは結構怪しかったり……。
そのうち消されてしまう恐れもあります。

プロンプトに用いるタグの単語は_(アンダーバー)でつながっているのでNMKDだと記号が使えずやりにくいというわけです。

TrinArt Stable Diffusion(とりんさま)

こちらはイラストに特化したStable Diffusion1.4の派生モデルです。
詳細とダウンロードは下記から。
Filesのtrinart2_step~という2.13GBのファイルです。

naclbit/trinart_stable_diffusion_v2 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

3ファイルありますが、学習のステップ数が違っておりどれを使うかは好みでとのこと。

モデルの使い方

基本的には元々あるモデルのファイル名(NMKDならstable-diffusion-1.4.ckpt)へリネームすれば使えます。
元のファイルのバックアップを取っておくのをお忘れなく。

モデルを変えて画像を生成すると同じ呪文でもぜんぜん違うテイストの画像が出ます。
そのモデルに合った呪文というのがありますので再度呪文を作り直した方が良い場合が多いです。

Stable Diffusion Web UI(AUTOMATIC1111版)をローカル環境に導入

環境の導入

Stable Diffusion Web UI(AUTOMATIC1111版)は一発で入れられるNMKDとは違い導入は結構めんどくさいです。
下記を参考にして導入しました。

画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK&自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ
画像生成AI「Stable Diffusion」を簡単に利用するための実行環境の1つである「Stable Diffusion web UI」のコントリビューター(開発貢献者)の1人であるAUTOMATIC1111氏が、フォークではないものの同名で「機能全部盛り」なStable Diffusion web UI(AUTO...

自分のPCに導入するにはPythonのインストール・Gitのインストール・CUDAのインストールが前提で必要です。
1つ1つ入れていきました。

次にAUTOMATIC1111版Stable Diffusion web UIをダウンロードして展開。
モデルは既にダウンロードしているもの(Stable Diffusion1.4・Waifu Diffusion・TrinArt)を使うのでここではダウンロードせず。

GFPGANで1つ問題が。
最新のファイルは「GFPGANv1.4.pth」なのですが、それを入れて実行した時読み込んでくれませんでした。
過去のリリースから「GFPGANv1.3.pth」をダウンロードして入れないとダメみたいです。

ここまでできたら「webui.bat」を実行。
初回はセットアップしているので時間がかかります。
無事に完了してコマンドプロンプトに「Running on local URL: http://127.0.0.1:7860」が出たらブラウザでそのURLにアクセスすると画像生成のUIが現れます。

プロンプトを入れてGenerateをクリックすると画像が生成され、その画像は「outputs\txt2img-images」に保存されていました。
Batch Countを変え複数の画像を生成すると「outputs\txt2img-grids」にグリッド状に1枚にまとめられた画像が保存されます。これは便利すぎる……。

細かい使い方は下記記事を参照。

画像生成AI「Stable Diffusion」で崩れがちな顔をきれいにできる「GFPGAN」を簡単に使える「Stable Diffusion web UI(AUTOMATIC1111版)」の基本的な使い方
「Stable Diffusion web UI(AUTOMATIC1111版)」は他のUIには搭載されていない機能なども盛り込んだ、いわば決定版の「Stable Diffusion」のUIといえますが、それだけにやれることが多いので、どこをどう触ればよいか悩むこともあるはず。

モデルの読み込み先を変更し、またスマホからでもアクセスできるように

webui.batを実行するとモデルはmodel.ckptのものが読み込まれます。
毎回ファイルをリネームしてモデルを変更するのは手間がかかるので起動時のオプション引数を使ってモデルの読み込み先を変更します。

また初期状態ではWebUIは完全にローカルPC上でしかアクセスできません。
ネットワーク上にある機器(スマホなど)からでもWebUIにアクセスできるようにしたいので設定を変更します。

Stable Diffusion WebUIのファイルをダウンロードしたGithubの説明に書いてありましたのでそのようにバッチファイルを作成します。

GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
Stable Diffusion web UI. Contribute to AUTOMATIC1111/stable-diffusion-webui development by creating an account on GitHub.

webui.batと同じフォルダにバッチファイルを新規作成し(ファイル名はわかれば何でもOK)テキストエディタで中身に下記を書いて保存します。

@echo off

set COMMANDLINE_ARGS=--listen --ckpt モデルのファイル名(.ckptファイル)

call webui.bat

複数バッチファイルを用意し、モデルのファイル名(Waifu Diffusionなら「wd-v1-2-full-ema.ckpt」など)だけ変えて別名で保存します。
モデルも同じフォルダに入れておきます。

Stable Diffusion Web UIの起動はそのbatファイルを実行するだけです。

あとはWindows側で7860番ポートを開放すれば良いかと思います。
ポート開放は下記記事を参照。
プロファイルは「プライベート」だけにしてください。

Security check

スマホからWebUIを見るには
http://PCのIPアドレス:7860/
で見られます。

新環境を試してみた結果

というわけで環境を作りました。

Waifu Diffusionを使って呪文を入れてみた結果がこちら↓

グリッド表示はこんな感じ。

この添い寝する狐っ娘の呪文は下記の通りです。

ultra cute face loli kitsune fox_girl wearing Kimono, lap_pillow, sewayaki_kitsune_no_senko-san, on Bed, Portrait image of a Digital Illustration, full body, Yuri, cell shaded, pixiv illustration, 4k, painted in kyoto animation style by artgerm, by Granblue and Cygames,metart by KANNA HASHIMOTO

除外Prompt:furry

Steps: 70, Sampler: Euler a, CFG scale: 9, Seed: 698926974, Size: 640x384

他にも作成しましたがえっちなのでここには貼れません……。
Waifu Diffusionは服を指定しないと裸にしがちなのです……。
こっそり画像をまとめてwikiにアップしました↓

AIで描いてもらった二次画像置き場
AIで描いてもらったイラストを置いておくwiki

Stable Diffusion Web UI(AUTOMATIC1111)では除外するPromptを指定できるのは便利ですね。
先程の狐っ娘はfurryを除外しないとかなりケモくなってしまいます。

他にも使えそうな機能はたくさんありますが全部は追いきれないです。
少しずつ使って覚えていきます。

またAI画像生成で何かありましたら記事にします。
できた画像をずらっと並べるだけの記事とかも作るかも。
よろしくお願いします。

コメント