Stable Diffusionで遊びたい(2)

前回はStable Diffusion UIのインストールを行ってサンプルで絵を描かせるところまでだったのですが、絵を描かせるメカニズムの一端をざっくりご紹介します。

Stable Diffusionはtxt2img、img2imgという2つの方法で絵を描くことができます。

txt2imgについては、promptに呪文を入れると、その呪文に対応した絵をAIがmodelデータの中から推測し、描画を行います。negative promptに呪文を入れると、AIはその呪文は描いてほしくないものだ、という理解をします。

ex) prompt: a girl / negative prompt: long hair

少女を描け / 長い髪は描くな という指示を出してみました。

Stable Diffusion 1.4で4回出力させましたが結果はご覧のとおりです。

無限の猿定理、と呼ばれるものがありまして、AIに絵を描かせるのは、猿にタイプライターを叩かせ続けたらいつかはシェークスピアの戯曲を書くことに成功するだろう、ということに等しいのです。

しかし、人間が描いた絵の法則性を抽出し、それがどのような呪文と対応しているのかを定義したデータがあれば、人間が描いて欲しいものにはどんどん近づく、条件を極限していくことで計算可能なレベルに落とし込む、というのがAIが行っている作業です。

極限の一つのアプローチとして、絵には(人間が定義したものですが)沢山の種類(カテゴリー)があります。カテゴリーごとに法則性を抽出した方が描いて欲しい絵の方向性は決められる、という考えのもと、絵の法則性を抽出したデータが.ckpt(チェックポイント)として選択可能です。

.ckptの一覧(有志調べ)はこちら。https://rentry.org/sdmodels

これらの.ckptや.vaeは、Stable Diffusion UIの指定のフォルダに入れることで選択することが出来ます。

.ckptはStable Diffusion UIインストール先ディレクトリの下、models/stable-diffusion/ に設置することで、Stable Diffusion UIのModel:で選択できるようになります。.vaeはmodels/vae/に設置することで、Custom VAE:で選択できるようになります。

それぞれのモデルの経緯とかはググってください。絵画的なものならmidjourney_v4、日本的なアニメ・コミックならwaifu-diffusionがお勧めです。個人的にはAnything-v3.0が安定した出力をするなあ、と思っています。

midjourney_v4

waifu-diffusion 1.3

Anything v3.0

とりあえずここまで(2022/11/26 11:00)

Advertisement

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s