AIモデルのWaifu Diffusionとtrinart2を合体させる
前回、
Waifu DiffusionでAIにイラストを描いてもらったことを記事にしました。
今回は2つのAIモデルを指定の割合で合体（マージ）させるツールがあるとのことなので試してみました。
Waifu Diffusionとtrinart2をマージさせて自分だけの新しいAIモデルを作ります。
AIモデルをマージさせるツールを使ってみる
下記GitHubにツールが置いてあるので
Code→Download Zipからダウンロードします。
ダウンロードして解凍したら「merge-models-main」というフォルダの中に4ファイル入っている状態になるので、フォルダごとStable Diffusion Web UI(AUTOMATIC1111)が入っているフォルダに入れます。
そしてmerge-models-mainフォルダの「merge.bat」というファイルを実行します。
実行すると最初に1番目のAIモデルの場所を聞いてくるので
Enter the name of the first file: ..\wd-v1-2-full-ema.ckptとWaifu Diffusionのファイルを指定します。
次は2番目のAIモデル（trinart2）を指定します。
Enter the name of the second file: ..\trinart2_step115000.ckptその次は2つのモデルの割合を指定します。
0.0～1.0の数値で指定するのですが、入れた数値は2番目のモデルの割合になるので注意。
例） 0.3なら1番目のモデルが70％で2番目のモデルが30％
今回はとりあえず半々の0.5にします。
"Enter alpha value (0.0-1.0)."
Or press [ENTER] for default [0.5]: 0.5それが終わったあとは出力ファイル名を指定します。
拡張子はつけないでください。
とりあえずwd-trinart2という名前で出力します。
Or press [ENTER] for default [merged]: wd-trinart2これで20秒くらい待つとmerge.batと同じフォルダに「wd-trinart2.ckpt」というファイルができるので、それを他のモデルと同じところに置けばOKです。
何も起こらない場合はmerge.batが置かれてあるフォルダが間違っているっぽいのでコマンドプロンプト1行目のvenvのパスが合っているかどうか確認しましょう。
WebUIのモデルをさっき作ったものに切り替えて起動させます。
新しく合成したモデルで画像を生成
実際に画像を生成してみました。
同じプロンプトで合成前のWaifu Diffusionと比較してみます。
多数生成するとわかるのですが、合成後のモデルですと顔が安定し、崩れていない画像が多く生成されました。
また顔も日本の二次元イラストっぽく可愛い感じになっています。
これからはこの作ったモデルで画像を生成していきます。
凝った人は秘伝のタレみたく何回もモデルのブレンドを行うそうです。Lewd Diffusionも入れるといいとかなんとか……。
画像の特徴や画風を学習させてパターンファイルとして使う（Textual Inversion）
イラストの画風や姿勢や服装などを自分で学習させて、それをpromptに入れて混ぜるというのが最近の流行りだそうです。
やり方はこんな感じ↓
まだ試していないのですが、例えば
とある絵師さんのイラストを学習させてその絵師さんの画風のイラストを作ったり、
スクール水着のイラストを学習させてスクール水着を着たイラストを作ったり、
えっちな体位を学習させてその体位を再現したり……
と、いろいろできるみたいです。
学習させた.ptファイルの作り方は下記記事から。
VRAMが18GB必要ですがGoogle Colabというサービスを使えば無料で誰にでも作れるとのことです。
休みの日などちょっと試してみます。
うまくできましたらまた記事にしますね。
Stable Diffusion関連まとめ ＆ AIで描いてもらった二次画像置き場wikiを立てています
AIで画像をたくさん作ってはみましたが見せる人も場所もない！
ってことでSeesaa wikiのアダルトのところに作った画像を置きました。
（多分NSFW画像は怒られてすぐ消すと思います）
Stable Diffusionに関する情報というかメモもwikiに書いていってます。
またちょこちょこ画像を上げていきます。
コメント