絵描きが絵を描くAIといっしょに絵を描いた ～Stable Diffusionとあそぼう～
monae
話題のお絵描きAIことStable Diffusionを、デジタル絵師の補助ツールとして使えるかどうか、実験してみました。つまり筆者は、AIのことを、以下に列挙するようなものに加わる新たな選択肢のひとつととらえています。
スクリーントーン、カスタムペン、素材集、色見本帳、3D背景、デッサン人形、（人間の）アシスタント。
まだまだ粗削りもいいところですが、以下、3枚の作例を試行錯誤の思考過程とともに書き残します。
この記事はこんな人にオススメ
- あくまでも自分の絵を描きたい
- 面倒な部分をAIにまかせてお絵描きの楽しいところだけ享受したい
- AIでどんなことができるか興味がある
- 芸術・文化・科学技術にリスペクトがある
おことわり（読まなくていい）
AIの使用は、法的には問題なくとも、まだ世間で倫理観的なコンセンサスがとれていない状態かと思います。筆者は筆者自身の倫理観に基づき問題ないといえる範囲の使用法にとどめていますが、人によっては不快に思われることがあるかもしれません。
なお製作はすべてGoogle Colabolatoryの無料枠で行いました。速度やメモリに上限がありますが、それでも1枚につき1分程度しかかからないので、遊ぶには十分です。画像サイズは768x512ピクセルくらいが限界なので、仕上げ時には別サービスでupscaleを行いました。
この記事ではこれらの技術や環境構築については説明しないので、がんばって。
サイバーパンクな絵が描きたい！
色とりどりのネオンが輝く妖しい夜の街に浮かび上がる少女が見えます。
見えましたね？
いきなり複雑なことをしてもうまくいく気がしないので、最初は単純に、背景と人物とをそれぞれつくってから合成することを考えます。
まずは背景を生成しましょう。
Text to imageのプロンプトに "rainy cyberpunk night city, many advertisements..." などなど入力してみます。
かなり雰囲気が出ていますね。
純粋に一枚の絵として見たときにはゴチャゴチャチカチカしすぎていますが、あとで加工するので問題ないでしょう。
次に女の子を生成します。
なかなか難儀ですが、根気よくサイバーパンクヘッドホン女の子ピックアップガチャを引き続けます。
あとで振り返ってみれば、ここは自分で適当なラフを描いた方が早かった。
※Stable Diffusionの気持ち悪いTIPS：単に "girl" ではなく "xx years old girl" とすると、そのようになる。
得られた画像を組み合わせれば、それなりにちゃんとした構図の絵になりそうです。ブラーや色味調整、光源補正、影つけなどのレタッチをし、足りない部分は描き足しつつ合成します。
この合成をさらになじませると同時に、加筆しやすいよう画風を厚塗り風に変換してみましょう。
Image to imageにこの絵を食べさせ、状況説明に加えて "digital art style, brush stroke" としてみます。Strengthは0.25。この値が0に近いほど元絵に近く、0.5あたりで構図ごと変わっていき、0.75ともなるとほぼ別物になります。
急に顔がヤバくなったな……
でも服はいい感じに平筆やエアブラシでざっくり塗った印象になっていますね。
顔はどうしても気になるので、まるっと上塗りしたあと、もろもろ気分でちょいちょい加筆して完成となりました。
所要時間：90分
絵の評価：★★☆☆☆ 空気感はいいが構図がツマラナイ。文字を入れてポスターやジャケットにするならアリ
ウチノコ度：★☆☆☆☆ 顔だけってのはさすがに……
（注：ウチノコ度とは、法的・倫理的基準とは一切関係なく、どれだけ胸を張って「これはおれの絵だ」と主張できるかをあらわす、筆者のプライドのみに立脚した独自指標です）
ゴシックホラーな絵が描きたい！
ゴシックといえばエドワード・ゴーリー。ゴーリーといえば不気味な洋館です（諸説あります）。
Text to imageに "spiral staircase in a Victorian house" をビアズリーあるいはエッシャー風でリクエストした結果がこちら。
AIに建造物をリクエストすると高確率でトマソン化しますね。
人間の理屈から見た整合性を機械につじつま合わせさせるのはまだまだ難しいようです。まあ逆に、今回やりたいシュールレアリスム的表現にはマッチしているので良し。
前回と同様、この絵に女の子を描き加えてImage to imageを行います。今度はStrength 0.75でガラッと構図も変えてみましょう。
えっ何……いきなり「正解」が来たが……
すごいなこれ。ほとんど完璧じゃない？
建物と人物とのバランスが悪いのだけすこし惜しい。
もうあまり手を出したくないので、上半身をサクっと差し替えるのみで完成。
所要時間：60分
絵の評価：★★★★★ は？ 好きだが……
ウチノコ度：☆☆☆☆☆ これはAIが描いた絵です
エセ和風テイストな絵が描きたい！
そろそろネタがなくなってきたので、アイディア出しの段階からAIに手伝ってもらうことにします。
何も考えずに "girl with a katana, fighting pose" をリクエストしてみます。
katanaからの連想か、顔も服も日本人風になっていますね。
手指が名状しがたいことになっておられますが、雰囲気は悪くない。今回はこの雰囲気だけありがたくいただいて、あとは自分で描くことにしましょう。
画風を参考にするため、北斎の浮世絵風に変換してもらいました。これらも全体的なタッチを真似たいだけなので顔や手の崩れは気にしません。
顔の見返りと髪型、肩口の印象だけもらってイチから自分で描いたのがこちら。利き手の問題で左右が逆に。なおこの時点で完成像の目星はつけています。
さて、自分で描くと言ったな。あれ嘘。
やっぱり面倒になったので背景もAIに描いてもらいましょうか。
さっき生成した浮世絵から人物を消し、横も足して広げておきます。
そしてマスク画像といっしょにAIに手渡し、雑に埋めたところをInpaintingに描いてもらいます。
まだちょっと境界の部分が不自然なので、掃除をしつつもう一度Image to imageを通しましょう。
画質がだいぶ荒くなっちゃったな。まあこれも味ってことでいいか。
この背景の上に自分で描いた線画を重ねて色を塗り、仕上げをして完成。
所要時間：120分
絵の評価：★★★☆☆ 雑だけどまあまあ好き
ウチノコ度：★★★☆☆ 今回の背景はただの雰囲気づくりなので
まとめと所見
こんな感じでした。どれも労力比からいってそれなりのクオリティにはなったでしょうか。Twitterにも流せるけど「AIを使用しました」と但し書きはするかな（※筆者個人の感覚です）。
得られた知見としては、
- AIは「雰囲気」をつくるのがめちゃくちゃウマい。微視的に細かいところも得意
- 一方、全体の一貫性や美的なバランスを守るのはニガテ
- 絵の「意味」や「意図」はまだ人間にしか作れない
などなど。
「人間の仕事の一部はたしかに奪われそうだな」「でもシンギュラリティにはまだまだ程遠いな」といったところです。
少なくとも、いまから数年先の未来、AIをフルに活用した作家さんがクリエイティブの一線で活躍するようになることは間違いないでしょう。
しかし、AIはあくまで「ひとつの道具」です。使うも使わないも、こだわりも自由。
スクリーントーンすら使わず己の世界をペン先とインクのみで描き上げる作家が死に絶えることはこれからも決してないであろうと、僕は思います。
なお僕自身は、ひととおり試したら満足して飽きてきたので、しばらく触んないんじゃないかな。