CrazyTalk 8 PRO、2枚の写真から動く3Dの顔を作る

画像から喋る3D頭部のアニメーションを作成できるCrazyTalk PROを最新のCrazyTalk 8 PROにアップデートしたので概要をご紹介してみたい。近年はCrazyTalk 8 PRO、FaceFilter3、CrazyTalk Animation2 といったReallusion社のソフトウェアを楽しむ機会が多いのもどこか性に合っているからか...。


さてCrazyTalk 8はMacエディションとWindowsエディションがあり、それぞれにStandard版、PRO版そしてPipeline版の3種がある。無論各エディション毎に価格が違うが私はずっとPRO版のユーザーなのだ。したがって以下の説明はPRO版においてのお話になるので予め承知いただきたい。

CTP8_00.jpg

※CrazyTalk 8 PROのアバウト画面


CrazyTalk 8 はそれまでの機能に加え、待望された3D頭部作成ツールが搭載されたことが目玉だ。その機能は正面と真横2枚の写真から3D頭部を作成し表情豊かな顔の(バストアップ)アニメーションが可能となる。また1枚の顔写真や絵からこれまた簡単にアニメーションを作れる機能を持っている。

CTP8_01.jpg

※今回はこの2枚の写真から3D頭部を作ってみる


ただし始めに申し上げておくが、3D頭部の作成はステップに沿っていけばそれらしいものは作れるものの元写真と同じようにクリアーな結果を生むのは簡単ではない。またそもそもCrazyTalk 8は3Dソフトではないというべきで、本格的な3Dモデリングソフトで作るような精度を求める向きには失望するだろう。

さらに個人的な見解だが、ソフトウェアとしての機能や完成度にはソフト屋の1人として目を見張るものがあるが、サンプルやアドオンのアクセタリー類やアバターはよく言えばコミックより、悪く言えばおふざけと受け取られかねないコンテンツが多い。この傾向はCrazyTalk 8のアプリケーションアイコンを見れば納得するだろう(笑)。したがってよりスタンダードなアバターや表現ができるようにオプションも充実して欲しい。

ところで個人的にCrazyTalk 8の利用目的だが3D頭部を作るのが目的ではない。1枚のポートレート写真に自然な表情を付けたいが為のツールとして使い始めたのだ。
ともあれ今回はCrazyTalk 8に新しく備わった3Dヘッド作成の手順をご紹介してみたい。

まずは人の顔の正面と横顔2枚の写真を用意する。しかし生身の人間では畏れ多いので当研究所の専属モデル(マネキン)の顔で使ってみた。
早速だがアプリを起動し、メニューバーの「作成」から「アクター新規作成」を選ぶ。表示する小さなウィンドウで 3D を選択しよう。

CTP8_01_a.jpg

※「アクター新規作成」からまずは 3D を選択


すると画像のインポートウィンドウが表示するので正面と横顔の写真をそれぞれドラッグ&ドロップでフレーム内に登録する。
ちなみに使用する写真は髪などが顔にかからないようなもの、そして斜めに向いたような写真は向かないので注意が必要だ。

CTP8_02.jpg

※2枚の写真を登録


まずやらなければならないのは「正面フィッティング」と「側面フィッティング」だ。例えば「正面フィッティング」なら右目、左目、鼻、口、表情、すべてといったステップごとに表示する写真上のフィッティングポイントを例にしたがってなるべく正確に置くことだ。微妙な位置のズレは最終的な3Dビジュアルに大きく影響することがあるのでくどいようだができるだけ正確に行うことが大切。

CTP8_03.jpg

CTP8_04.jpg

※正面写真、真横写真共に左に表示する指示に従ってフィッティングポイントを置く


「適用」をクリックするとレンダリングが開始され、右側ウインドウに3D頭部が形成されるはずだ。しかしその多くの結果には失望するユーザーが大いに違いない(笑)。正確にフィッティングしたつもりが、出来上がった3D頭部の顔はまるで宇宙人のグレイみたいかも知れない...。しかしこれで終わりではなくここからがユーザーの腕の見せ所というべきなので気落ちせずに先に進もう。

CTP8_05.jpg

※フィッティングポイントだけでレンダリングした結果は期待できるものではない


続く「輪郭とテクスチャの配置」でよりフィッティングを詳細に行い、「詳細モーフ」機能などで写真に近い形状に3Dモデルを編集する。その際には人物は男性なのか女性なのか、あるいは人種的特徴や年齢のパラメーターなども加味してそれらしい形状に近づける工夫を行う。

CTP8_06.jpg

CTP8_09.jpg

CTP8_10.jpg

CTP8_16.jpg

※「輪郭とテクスチャの配置」と「詳細モーフ」機能で元の写真に近い顔、形状になるよう調整する。最後の図はまずまずの結果になってきた例


「適用」で先に進めば、3D頭部は自動的にボディと結合され、いわゆるバストアップの3Dモデルが完成する。顔とボディの肌色に相違があったり、暗かったりしたらテクスチャのカラーや明るさも変更できるし、頭部のサイズも縮小や拡大が可能だ。

次ぎに目と口のキャリプレーションを行う。これは写真の目の位置にソフトウェア側で用意されたテンプレートの目をはめ込むこと、そして口を開いた際にリアルな歯などを加えるためだ。ただし歯はともかく目をテンプレートのものに入れ替えれば別人になってしまうのは確実だ。より眼球の動きなどが繊細になるが、今回は目はいじらず歯だけにした。

後は一般的に、髪と衣裳そして必要に応じて帽子や眼鏡、アクセサリーなどをコンテンツマネージャーから選択すれば通常は自動的に頭部やボディにフィットされるが、帽子などの位置合わせやサイズの調整なども後から可能だ。

CTP8_17.jpg

※服と髪およびアクセサリーをつけて表情もつけてみた


極々簡単ではあるが、こうして3Dのアバターが出来上がったわけだが、CrazyTalk 8はこのアバター、キャラクターに動きを与え表情豊かに喋らせたり動作させたりができる。無論スピーチ時にはリップシンクもできる。

CTP8_18.jpg

CTP8_19.jpg

※動画用に頭部の構成を変え、髪には風の物理演算を加味する。また好みで背景を加えることも可能


今回は長くなるので自動モーションといったシンプルな仕草をつけただけに留めるが、髪の毛などは風になびかせたり突風の強さなど風の物理演算まで加えることができる。



※帽子も眼鏡もある種のあら隠しでもあるが、ともかく2枚の写真からここまで出来たことは事実だ。



最後に必要ならBGMをつけたり、背景と合成させたりも自由自在だ。
それにしても数度同じモデルで3D化を試みたが、人の顔というものがいかに微妙なバランスに支えられているものなのかにあらためて感嘆させられた…。

CrazyTalk 8



関連記事
ブログ内検索
New web site
[小説]未来を垣間見たカリスマ  スティーブ・ジョブズ
ジョブズ学入門
WATCH 講座
大塚国際美術館ひとり旅
ラテ飼育格闘日記
最新記事
お勧めの新旧記事
カテゴリ
リンク
メールフォーム

名前:
メール:
件名:
本文:

プロフィール

appletechlab

Author:appletechlab

主宰は松田純一。1989年Macのソフトウェア開発専門のコーシングラフィックシステムズ社設立、代表取締役就任 (2003年解散)。1999年Apple WWDC(世界開発者会議)で日本のデベロッパー初のApple Design Award/Best Apple Technology Adoption (最優秀技術賞) 受賞。

2000年2月第10回MACWORLD EXPO/TOKYOにおいて長年業界に対する貢献度を高く評価され、主催者からMac Fan MVP’99特別賞を授与される。著書多数。音楽、美術、写真、読書を好み、Macと愛犬三昧の毎日。マネキン造形研究中。日本シャーロック・ホームズクラブ会員。日本リュート協会会員。ゆうMUG会員