AIモデルを合体させてかわいいイラストを描かせたり画像置き場を作ったりいろいろ【AI画像生成】【AIモデルのマージ】

スポンサーリンク

AIモデルのWaifu Diffusionとtrinart2を合体させる

前回、

Waifu DiffusionでAIにイラストを描いてもらったことを記事にしました。
今回は2つのAIモデルを指定の割合で合体(マージ)させるツールがあるとのことなので試してみました

Waifu Diffusionとtrinart2をマージさせて自分だけの新しいAIモデルを作ります。

AIモデルをマージさせるツールを使ってみる

下記GitHubにツールが置いてあるので

GitHub - eyriewow/merge-models
Contribute to eyriewow/merge-models development by creating an account on GitHub.

Code→Download Zipからダウンロードします。

ダウンロードして解凍したら「merge-models-main」というフォルダの中に4ファイル入っている状態になるので、フォルダごとStable Diffusion Web UI(AUTOMATIC1111)が入っているフォルダに入れます

そしてmerge-models-mainフォルダの「merge.bat」というファイルを実行します。

実行すると最初に1番目のAIモデルの場所を聞いてくるので

Enter the name of the first file:  ..\wd-v1-2-full-ema.ckpt

とWaifu Diffusionのファイルを指定します。
次は2番目のAIモデル(trinart2)を指定します。

Enter the name of the second file:  ..\trinart2_step115000.ckpt

その次は2つのモデルの割合を指定します。
0.0~1.0の数値で指定するのですが、入れた数値は2番目のモデルの割合になるので注意。
例) 0.3なら1番目のモデルが70%で2番目のモデルが30%
今回はとりあえず半々の0.5にします。

"Enter alpha value (0.0-1.0)."
Or press [ENTER] for default [0.5]:  0.5

それが終わったあとは出力ファイル名を指定します。
拡張子はつけないでください。
とりあえずwd-trinart2という名前で出力します。

Or press [ENTER] for default [merged]: wd-trinart2

これで20秒くらい待つとmerge.batと同じフォルダに「wd-trinart2.ckpt」というファイルができるので、それを他のモデルと同じところに置けばOKです。

何も起こらない場合はmerge.batが置かれてあるフォルダが間違っているっぽいのでコマンドプロンプト1行目のvenvのパスが合っているかどうか確認しましょう。

WebUIのモデルをさっき作ったものに切り替えて起動させます。

新しく合成したモデルで画像を生成

実際に画像を生成してみました。
同じプロンプトで合成前のWaifu Diffusionと比較してみます。

Waifu diffusion 50% + trinart2 50%
Waifu Diffusionのみ

多数生成するとわかるのですが、合成後のモデルですと顔が安定し、崩れていない画像が多く生成されました
また顔も日本の二次元イラストっぽく可愛い感じになっています

これからはこの作ったモデルで画像を生成していきます。
凝った人は秘伝のタレみたく何回もモデルのブレンドを行うそうです。Lewd Diffusionも入れるといいとかなんとか……。

画像の特徴や画風を学習させてパターンファイルとして使う(Textual Inversion)

イラストの画風や姿勢や服装などを自分で学習させて、それをpromptに入れて混ぜるというのが最近の流行りだそうです。

やり方はこんな感じ↓

  1. 公表してある.ptファイルをダウンロードする
  2. ファイルの名前を「〇〇〇.pt」にする (〇〇〇は学習させたものがわかるようにつける)
  3. Stable Diffusion Web UI(AUTOMATIC1111)のフォルダに「embeddings」という名前のフォルダを作る
  4. embeddingsフォルダにさっきの〇〇〇.ptファイルを置く
  5. 画像生成時のpromptに「〇〇〇」という言葉を書くと画像に学習した内容が反映される

まだ試していないのですが、例えば
とある絵師さんのイラストを学習させてその絵師さんの画風のイラストを作ったり
スクール水着のイラストを学習させてスクール水着を着たイラストを作ったり
えっちな体位を学習させてその体位を再現したり……
と、いろいろできるみたいです。

学習させた.ptファイルの作り方は下記記事から。
VRAMが18GB必要ですがGoogle Colabというサービスを使えば無料で誰にでも作れるとのことです。

Google Colab ではじめる Textual Inversion|npaka|note
「Diffusers」の「textual_inversion.py」を使った「Textual Inversion」を試したのでまとめました。 ・Stable Diffusion v1.4 ・Diffusers v0.3.0 1. Textual Inversion 「Textual Inversion」は、3...

休みの日などちょっと試してみます。
うまくできましたらまた記事にしますね。

AIで描いてもらった二次画像置き場

AIで画像をたくさん作ってはみましたが見せる人も場所もない!
ってことでSeesaa wikiのアダルトのところに作った画像を置きました。
(多分NSFW画像は怒られてすぐ消すと思います)

AIで描いてもらった二次画像置き場
AIで描いてもらったイラストを置いておくwiki

またちょこちょこ画像を上げていきます。

コメント