リグとスキンと変形と

リグに関して主に映像寄りの視点で。
これは映像寄りの私的な考えなので
実際のプロダクションにおける様々な制約で最適解は変わります。

という前提で書いておこうとおもった。

さて自分はへっぽこリガーでもあるのですが、
リグの役割は大きく2パートに分割されると思ってます。

1、ボーンやコントローラを作って基本となるリグを作る。
(コンストレイント、回転制御、クオータニオン、行列などなどなど)

2、リグを使ってメッシュをいい感じに変形させる。
(スキン、DQ、Delta mush、Tension、セカンダリデフォーム、FEMなどなどなど)

根本的には2の「いい感じの変形」を達成するために1のリグを作ります。
(リニアスキン変形が上手くいくように各種補助ボーンを仕込むとか、
マッスル変形を前提に骨や筋肉を仕込むとか)

1と2が絡みあって、最適なボーンの配置や本数、
稼働なども変わってくるのですが、
ともすれば1だけにハマって2の探求や開拓が疎かになる場合があります。

具体的に言うと、
映像案件でリニアスキン縛りで、ボーンの可動や補助的なモーフの仕込みだけをアドホックで延々と入れ続ける、みたいな。
制約のあるゲームじゃないんだから。
いや映像であっても色々な理由があってそうしているなら良いのですが、
なんか最近メイキングとか見てて、ともすれば「リニアスキンとモーフ縛り」って思考に陥ってないかな?と感じたりしたので。

1の方は色々とチュートリアルや記事も出てるんですが
特に2の方が疎かになるケースが多い感。
まあ、分かるんですけどね・・
ボーンの仕込みは細かい工夫やリグ作りで何とか都合つくけど、
変形回りはプラグイン導入とか開発とかになりがちで手が出せない、とか。
しかしプリレンダリングの映像であまりに「ボーン頼り、リニアスキンだけ」というのはさすがに時代が・・ねえ・・。
今でもできる事は色々あるし、今後も探索は続けなきゃやばいと思ってます。ソフト問わず。

この辺りはハリウッドのアニマトロニクスを参考に考えると分かりやすいのですが
(恐竜とか人の顔とかを人形で動かすやつ)

あれも骨格のコントロールは意外とシンプルで、
上にかぶせたシリコンとかのやわらかい変形によって自然な皴や皮膚を表現してるんですよね。

現在のCGにおいてはFEMベースのsimとか使えばそれなりにちゃんとした変形もできるんですが重かったりするので、
ある程度近似するためのコストの軽い手法としてリニアスキニングを使いつつ、
色んな人が軽くていい感じに変形してくれる手法を色々考えているわけです。
Dual Quaternionsとかimplicit skinningとかプロシージャルな皴生成とか色んなのが出たり消えたり使い物になかったり発展したり羨望の的で見られたりしてるんですね。

あと、いろんな手法ついでなんですが、
例えばゴッドオブウォーみたいにポーズスペースデフォーメーションで補助的な変形をゴリゴリ仕込んでいく方式もとても良くできていますが、
あちらもあくまで現行の実機上でキャラクターを動かすうえでの
最適化としてこの技術を使った、
という前提は意識しておく必要があります。

また、アンチャーテッド4のTDなどが作成した、
補助ボーンを自動計算/配置してソフトボディやボディの高度な変形を近似させる、という方式も一昔前から話題ですが、
あちらもそもそも
「各DCCツールで作った複雑な変形を、リニアスキンに変換してゲーム実機で動くように落とし込む」
という制約から生まれた変換技術なので
色々と高度な変形を前提にした技術というのは踏まえておくべきでしょう。

各種変形をボーン+スキンに変換するツール
Skinning Converter
https://vimeo.com/123883474

こちらは同じ人が変形とか色々含めて作ってるデモリール
Plugin and Nodal Demo Reel 2014
https://vimeo.com/100010209

唇のくっつきやコリジョンとか高度な変形ツールを色々作りつつ、ゲームに落とし込むためのスキン変換ツールも作ってる形ですね。

技術発表として出てくるものも、リアルタイムのゲームという制約の中で必要だったものなのか、ハイエンドの映像表現の必要から作られたものなのか、
みたいな開発の由来はある程度意識した方が良いでしょう。
もちろん応用として様々に使える事もありますが。

えーと雑多に書いたのですが
まとめとしては
「世の中リニアスキンと補助ボーンとモーフだけじゃないんやで」
と言いたいだけです。
いやあたりまえなんだけどね。

で、ここから次どうするかなぁ、どうなるのかなあ、
というのは自分も日々探ってる所なんですが

海外大手はすでにFEMベースのシミュレーションで皮膚や筋肉表現する方向に行ってて、
自分のような主に日本のアニメ系CGやってる方からすると計算コスト的に間に合わず
完全に置いてきぼりにされちゃってる感があり、どうしましょうねほんと・・

事前フレームから計算していく時間依存のsim形式じゃなくて
簡易的でも現在のフレームで自己衝突とかを解決してくれる時間非依存(Time independent)な手法がいいんだけど・・・・
まあ時間非依存のパラメータ変形や自己衝突解消とか色々手立てはあるし、(maxとかでも以前genomeでキャラクターのスキン変形補助や衝突判定作ったりしました)
この辺りの時間非依存の処理はHoudiniEngine経由で比較的簡単に実現できるので
何か色々プラグイン買うよりはHoudiniEngine導入しちゃった方がいいんじゃないかな、と思いつつあります。
houdini側でも時間非依存でFEMできたりもするし、もうちょっと掘ってみようかなあというところ。

(ちなみに2021/05現在、HoudiniEngineは前後のフレームを参照できない仕様なので、
例えば現在のフレームで皮膚のめり込んでる個所を押し出すとかはできるけど
前フレームを参照して速度を計算して残像をメッシュで表現する、みたいなのは苦手。
この辺り解決されればほんと色々できそうなんだけど・・)


ついでに以下、最近見てておもしろかったの

パテントとってるので使えないけどsonyのOffset curve deformation
(動画でスキン回り色々説明してて参考になった)
https://dl.acm.org/doi/abs/10.1145/1401032.1401105

DesneyのEfficient Elasticity for Character Skinning with Contact and Collisions
https://www.youtube.com/watch?v=KDvfFzFIruQ

3ds maxのClothify Pro
https://mariussilaghi.com/products/clothify-pro

2017 IMAXでダンケルクを見た感想

2017年の感想が下書きに残ってたので。

海外で70mmフィルムのガチIMAXでダンケルクを観たのですけれど、私的にIMAXとか映画をどこに向けて作るかを含めてこの作品の立ち位置が興味深くなっちゃったのでそのあたりメモ。

まず初めて行ったIMAX70mmが凄い。
スクリーンがそびえ立つ壁。前方視界全部画面になる没入感。

本編の前にIMAX向けの予告編があったんですが(スターウォーズとジャスティスリーグ)
やはり画面によって必要なレイアウトやカメラワークは変わるなあと再認識。
というより70mmが通常スクリーンでない別物って感じですね。
ジャスティスリーグとか過剰なカメラワークに感じてちょっと見辛かった。
これは作り手側も「上映される大画面映画向きのレイアウト/カメラワーク」「TV向けのレイアウト/カメラワーク」を意識してない場合があるのでしかたない。
と思ったりするんですが、
ダンケルク本編は編集リズムもレイアウトも流石の安定感で、かつ通常の映画サイズを超えてIMAXの四角に近い大画面での上映を意識して作られてるのだときちんと感じられてよかった。

あ、あとゲームのCall of Duty WW2のトレイラー

も大画面で流れたんですが(70mmフィルムではなかったけど)
こちらは逆にスクリーンでかなりフォトリアルで映画のように見えて凄かった。
きっと投影と解像度不足による微妙な焦点の甘さとか微細なカラーフリンジとかが混じって映画風の味付けが足されたおかげかな。
もしかしたら映画館向けに更に設定変えてるのかもしれません。どうだろう。

上映に合う作品と合わない作品があるけれど、学生作品とかもスクリーン上映で化ける作品があったりして面白い。
もちろん、ちゃんとした映画監督はそんな効果もきちんと考えてるんですが。(アニメだと押井監督とか筆頭に)

さて本編上映。
映画としてはストーリーというより画面と音で体感するタイプなのでやはりIMAX視聴おすすめでした。
あんま詳しくないですが、第二次大戦空戦モノとしてなんかすごい域に達してる感じ。だってほんものだもの。(敵機の音、スカイクロラ思い出した。)
私的には冒頭の市街戦が好きなのであそこ1時間くらいやってほしかった。
あの精細な映像で市街戦をもっと見たい。海と空もいいけどIMAXで高精細な市街戦戦争映画やりましょうよノーラン将軍。
今度は末っ子のライアンとか墜落したブラックホーク救出しに行きましょうよ。

あ、あと大画面で気になった点が一つ。
糸くずとかホコリも大きく映る。救出に行く小舟のシーンとか。
これは劇場の問題だったかもしれないし、フィルムに写り込んでるのかもしれない。
予告ではあまり感じ無かったから、元々のフィルムかなあ。カット毎に変化して張り付いてたし元素材かな。
ノーラン監督だからグレインのようにこれもフィルムの味だとしてある程度残してそうだけど、
高精細な画面だとホコリ一つでも引きの飛行機サイズだから、ちょっと気が紛れる感はあったのが正直なところ。
アニメでナウシカが小ーさく映ってるシーンで、セルの上のゴミと勘違いして消してた、みたいな話を思い出します。
それが実写レベルでもホコリと引きの飛行機が分からなくなるんだからIMAX解像度というのは恐ろしや・・。

さてこの実写パワーでガチ殴り映画ですが、ガチ殴りすぎて逆に心配になってきた。
果たして今後映画館はどうなっていくんだろう、彼らは最後の巨人になってしまうのかな、といった不安。
アバター2のニュースが本当かどうかわからないけど裸眼立体視を開発して2020年に公開されるとするとまた様相が変わるだろうし、
ネット配信映画は映画祭出品拒否されたり現在以降初期の文化摩擦の真っ最中。いずれ主流として勝つのはネットなんだろうけど。

まあ数百年後ぐらいにはゴーグルつけるなり頭にケーブル刺すなりで仮想体験するのが主流で、
その間がどのあたりでどう移ろうのか、幸か不幸か移行期の真っただ中なので当然ながら引き続き注視したい所存であります。