Thread by @Zuntan03

ControlNetのopenposeとhedで、ポーズを指定しつつも詳細な背景と正常な手を無料で描画する手法です。
！！手の絵を描けなくても大丈夫です！！
！！体型の一致する3Dモデルを用意しなくても大丈夫です！！

hedやdepthは優秀ですが、背景を塗りつぶしてもsimple backgroundになる弱点があります。
背景も用意すればまっとうな背景を描画できますが、それではただのi2iです。

AIに構図を提案してもらいたいので、ポーズだけを指定してあとはキャラも含めてガチャりつつ、最後にグチャった手を直します。

まずはDesignDollでポーズを用意します。

DesignDollについてはこちら。

https://twitter.com/Zuntan03/status/1629501963913285633

今回はopeposeやhedの認識精度が上がるかな？と簡易エフェクト表示にしています。
[ツール]-[環境設定]-[エフェクト]-[通常時のエフェクト]を[簡易エフェクト]にすると変更できます。

後で手のcannyを取るために、画像の解像度は1280*1280とちょっと高めにしました。

余談ですが、DesignDollでの作業後にスクリーンショットのためにウィンドウサイズを変更していたら落ちました。
7980円を払えば保存ができるので、落ちても安心です。
私は払ってませんので電子の海に逝きました。

用意した絵をControlNetのopenposeでポーズを指定して、シンプルなプロンプトで絵を生成します。
openposeのAnnotator Resolutionは元の画像より小さい512*512のほうが正しくポーズを認識できました。

GenImageViewerの半透明機能（本日リリースしました！）でDesignDollの絵と比較して、大きなズレがないことを確認します。

Stable Diffusion web UI が生成した画像を自動で大きく表示するGenImageViewerの最新版はこちら

https://twitter.com/Zuntan03/status/1629697999088803845

解像度768*768をLatentアップスケールで2倍にしているので、当然のように手がグチャります。
これを「レタッチ(inpaint)」でhedを使って直します。

生成した絵をWebUIでimg2imgに転送して、「レタッチ(inpaint)」の元画像や生成パラメータを生成時と同様に設定します。
「レタッチ(inpaint)」のパラメータは「マスクされたコンテンツ」を「埋める」にして、「ノイズ除去強度」を0.9ぐらいまで高めます。

先程紹介したGenImageViewerの半透明機能でDesignDollの絵と比較しつつ、ウィンドウを最小化しながらマスクを塗ります。

「レタッチ(inpaint)」のControlNetのhedにDesignDollで用意した絵を指定します。
デフォルト設定からHED Resolutionのみ生成画像と同じ1536にあげています。

とりあえず1枚絵をだしてみて、具合が良さそうなら「スクリプト」の「X/Y/Z plot」で「CFGスケール」と「ノイズ除去強度」の近辺の値を探ります。

気に入った絵が生成されたら、完成です👍