CrazyTalk 8 PRO、２枚の写真から動く3Dの顔を作る
画像から喋る3D頭部のアニメーションを作成できるCrazyTalk PROを最新のCrazyTalk 8 PROにアップデートしたので概要をご紹介してみたい。近年はCrazyTalk 8 PRO、FaceFilter3、CrazyTalk Animation2 といったReallusion社のソフトウェアを楽しむ機会が多いのもどこか性に合っているからか...。
さてCrazyTalk 8はMacエディションとWindowsエディションがあり、それぞれにStandard版、PRO版そしてPipeline版の３種がある。無論各エディション毎に価格が違うが私はずっとPRO版のユーザーなのだ。したがって以下の説明はPRO版においてのお話になるので予め承知いただきたい。
※CrazyTalk 8 PROのアバウト画面
CrazyTalk 8 はそれまでの機能に加え、待望された3D頭部作成ツールが搭載されたことが目玉だ。その機能は正面と真横２枚の写真から3D頭部を作成し表情豊かな顔の(バストアップ)アニメーションが可能となる。また１枚の顔写真や絵からこれまた簡単にアニメーションを作れる機能を持っている。
※今回はこの２枚の写真から3D頭部を作ってみる
ただし始めに申し上げておくが、3D頭部の作成はステップに沿っていけばそれらしいものは作れるものの元写真と同じようにクリアーな結果を生むのは簡単ではない。またそもそもCrazyTalk 8は3Dソフトではないというべきで、本格的な3Dモデリングソフトで作るような精度を求める向きには失望するだろう。
さらに個人的な見解だが、ソフトウェアとしての機能や完成度にはソフト屋の１人として目を見張るものがあるが、サンプルやアドオンのアクセタリー類やアバターはよく言えばコミックより、悪く言えばおふざけと受け取られかねないコンテンツが多い。この傾向はCrazyTalk 8のアプリケーションアイコンを見れば納得するだろう(笑)。したがってよりスタンダードなアバターや表現ができるようにオプションも充実して欲しい。
ところで個人的にCrazyTalk 8の利用目的だが3D頭部を作るのが目的ではない。１枚のポートレート写真に自然な表情を付けたいが為のツールとして使い始めたのだ。
ともあれ今回はCrazyTalk 8に新しく備わった3Dヘッド作成の手順をご紹介してみたい。
まずは人の顔の正面と横顔２枚の写真を用意する。しかし生身の人間では畏れ多いので当研究所の専属モデル(マネキン)の顔で使ってみた。
早速だがアプリを起動し、メニューバーの「作成」から「アクター新規作成」を選ぶ。表示する小さなウィンドウで 3D を選択しよう。
※「アクター新規作成」からまずは 3D を選択
すると画像のインポートウィンドウが表示するので正面と横顔の写真をそれぞれドラッグ&ドロップでフレーム内に登録する。
ちなみに使用する写真は髪などが顔にかからないようなもの、そして斜めに向いたような写真は向かないので注意が必要だ。
※２枚の写真を登録
まずやらなければならないのは「正面フィッティング」と「側面フィッティング」だ。例えば「正面フィッティング」なら右目、左目、鼻、口、表情、すべてといったステップごとに表示する写真上のフィッティングポイントを例にしたがってなるべく正確に置くことだ。微妙な位置のズレは最終的な3Dビジュアルに大きく影響することがあるのでくどいようだができるだけ正確に行うことが大切。
※正面写真、真横写真共に左に表示する指示に従ってフィッティングポイントを置く
「適用」をクリックするとレンダリングが開始され、右側ウインドウに3D頭部が形成されるはずだ。しかしその多くの結果には失望するユーザーが大いに違いない(笑)。正確にフィッティングしたつもりが、出来上がった3D頭部の顔はまるで宇宙人のグレイみたいかも知れない...。しかしこれで終わりではなくここからがユーザーの腕の見せ所というべきなので気落ちせずに先に進もう。
※フィッティングポイントだけでレンダリングした結果は期待できるものではない
続く「輪郭とテクスチャの配置」でよりフィッティングを詳細に行い、「詳細モーフ」機能などで写真に近い形状に3Dモデルを編集する。その際には人物は男性なのか女性なのか、あるいは人種的特徴や年齢のパラメーターなども加味してそれらしい形状に近づける工夫を行う。
※「輪郭とテクスチャの配置」と「詳細モーフ」機能で元の写真に近い顔、形状になるよう調整する。最後の図はまずまずの結果になってきた例
「適用」で先に進めば、3D頭部は自動的にボディと結合され、いわゆるバストアップの3Dモデルが完成する。顔とボディの肌色に相違があったり、暗かったりしたらテクスチャのカラーや明るさも変更できるし、頭部のサイズも縮小や拡大が可能だ。
次ぎに目と口のキャリプレーションを行う。これは写真の目の位置にソフトウェア側で用意されたテンプレートの目をはめ込むこと、そして口を開いた際にリアルな歯などを加えるためだ。ただし歯はともかく目をテンプレートのものに入れ替えれば別人になってしまうのは確実だ。より眼球の動きなどが繊細になるが、今回は目はいじらず歯だけにした。
後は一般的に、髪と衣裳そして必要に応じて帽子や眼鏡、アクセサリーなどをコンテンツマネージャーから選択すれば通常は自動的に頭部やボディにフィットされるが、帽子などの位置合わせやサイズの調整なども後から可能だ。
※服と髪およびアクセサリーをつけて表情もつけてみた
極々簡単ではあるが、こうして3Dのアバターが出来上がったわけだが、CrazyTalk 8はこのアバター、キャラクターに動きを与え表情豊かに喋らせたり動作させたりができる。無論スピーチ時にはリップシンクもできる。
※動画用に頭部の構成を変え、髪には風の物理演算を加味する。また好みで背景を加えることも可能
今回は長くなるので自動モーションといったシンプルな仕草をつけただけに留めるが、髪の毛などは風になびかせたり突風の強さなど風の物理演算まで加えることができる。
※帽子も眼鏡もある種のあら隠しでもあるが、ともかく２枚の写真からここまで出来たことは事実だ。
最後に必要ならBGMをつけたり、背景と合成させたりも自由自在だ。
それにしても数度同じモデルで3D化を試みたが、人の顔というものがいかに微妙なバランスに支えられているものなのかにあらためて感嘆させられた…。
■CrazyTalk 8
さてCrazyTalk 8はMacエディションとWindowsエディションがあり、それぞれにStandard版、PRO版そしてPipeline版の３種がある。無論各エディション毎に価格が違うが私はずっとPRO版のユーザーなのだ。したがって以下の説明はPRO版においてのお話になるので予め承知いただきたい。
※CrazyTalk 8 PROのアバウト画面
CrazyTalk 8 はそれまでの機能に加え、待望された3D頭部作成ツールが搭載されたことが目玉だ。その機能は正面と真横２枚の写真から3D頭部を作成し表情豊かな顔の(バストアップ)アニメーションが可能となる。また１枚の顔写真や絵からこれまた簡単にアニメーションを作れる機能を持っている。
※今回はこの２枚の写真から3D頭部を作ってみる
ただし始めに申し上げておくが、3D頭部の作成はステップに沿っていけばそれらしいものは作れるものの元写真と同じようにクリアーな結果を生むのは簡単ではない。またそもそもCrazyTalk 8は3Dソフトではないというべきで、本格的な3Dモデリングソフトで作るような精度を求める向きには失望するだろう。
さらに個人的な見解だが、ソフトウェアとしての機能や完成度にはソフト屋の１人として目を見張るものがあるが、サンプルやアドオンのアクセタリー類やアバターはよく言えばコミックより、悪く言えばおふざけと受け取られかねないコンテンツが多い。この傾向はCrazyTalk 8のアプリケーションアイコンを見れば納得するだろう(笑)。したがってよりスタンダードなアバターや表現ができるようにオプションも充実して欲しい。
ところで個人的にCrazyTalk 8の利用目的だが3D頭部を作るのが目的ではない。１枚のポートレート写真に自然な表情を付けたいが為のツールとして使い始めたのだ。
ともあれ今回はCrazyTalk 8に新しく備わった3Dヘッド作成の手順をご紹介してみたい。
まずは人の顔の正面と横顔２枚の写真を用意する。しかし生身の人間では畏れ多いので当研究所の専属モデル(マネキン)の顔で使ってみた。
早速だがアプリを起動し、メニューバーの「作成」から「アクター新規作成」を選ぶ。表示する小さなウィンドウで 3D を選択しよう。
※「アクター新規作成」からまずは 3D を選択
すると画像のインポートウィンドウが表示するので正面と横顔の写真をそれぞれドラッグ&ドロップでフレーム内に登録する。
ちなみに使用する写真は髪などが顔にかからないようなもの、そして斜めに向いたような写真は向かないので注意が必要だ。
※２枚の写真を登録
まずやらなければならないのは「正面フィッティング」と「側面フィッティング」だ。例えば「正面フィッティング」なら右目、左目、鼻、口、表情、すべてといったステップごとに表示する写真上のフィッティングポイントを例にしたがってなるべく正確に置くことだ。微妙な位置のズレは最終的な3Dビジュアルに大きく影響することがあるのでくどいようだができるだけ正確に行うことが大切。
※正面写真、真横写真共に左に表示する指示に従ってフィッティングポイントを置く
「適用」をクリックするとレンダリングが開始され、右側ウインドウに3D頭部が形成されるはずだ。しかしその多くの結果には失望するユーザーが大いに違いない(笑)。正確にフィッティングしたつもりが、出来上がった3D頭部の顔はまるで宇宙人のグレイみたいかも知れない...。しかしこれで終わりではなくここからがユーザーの腕の見せ所というべきなので気落ちせずに先に進もう。
※フィッティングポイントだけでレンダリングした結果は期待できるものではない
続く「輪郭とテクスチャの配置」でよりフィッティングを詳細に行い、「詳細モーフ」機能などで写真に近い形状に3Dモデルを編集する。その際には人物は男性なのか女性なのか、あるいは人種的特徴や年齢のパラメーターなども加味してそれらしい形状に近づける工夫を行う。
※「輪郭とテクスチャの配置」と「詳細モーフ」機能で元の写真に近い顔、形状になるよう調整する。最後の図はまずまずの結果になってきた例
「適用」で先に進めば、3D頭部は自動的にボディと結合され、いわゆるバストアップの3Dモデルが完成する。顔とボディの肌色に相違があったり、暗かったりしたらテクスチャのカラーや明るさも変更できるし、頭部のサイズも縮小や拡大が可能だ。
次ぎに目と口のキャリプレーションを行う。これは写真の目の位置にソフトウェア側で用意されたテンプレートの目をはめ込むこと、そして口を開いた際にリアルな歯などを加えるためだ。ただし歯はともかく目をテンプレートのものに入れ替えれば別人になってしまうのは確実だ。より眼球の動きなどが繊細になるが、今回は目はいじらず歯だけにした。
後は一般的に、髪と衣裳そして必要に応じて帽子や眼鏡、アクセサリーなどをコンテンツマネージャーから選択すれば通常は自動的に頭部やボディにフィットされるが、帽子などの位置合わせやサイズの調整なども後から可能だ。
※服と髪およびアクセサリーをつけて表情もつけてみた
極々簡単ではあるが、こうして3Dのアバターが出来上がったわけだが、CrazyTalk 8はこのアバター、キャラクターに動きを与え表情豊かに喋らせたり動作させたりができる。無論スピーチ時にはリップシンクもできる。
※動画用に頭部の構成を変え、髪には風の物理演算を加味する。また好みで背景を加えることも可能
今回は長くなるので自動モーションといったシンプルな仕草をつけただけに留めるが、髪の毛などは風になびかせたり突風の強さなど風の物理演算まで加えることができる。
※帽子も眼鏡もある種のあら隠しでもあるが、ともかく２枚の写真からここまで出来たことは事実だ。
最後に必要ならBGMをつけたり、背景と合成させたりも自由自在だ。
それにしても数度同じモデルで3D化を試みたが、人の顔というものがいかに微妙なバランスに支えられているものなのかにあらためて感嘆させられた…。
■CrazyTalk 8
- 関連記事
-
- 強力な写真編集ソフト「Smart photo editor」第三回、カラーシミュレーション (2017/01/27)
- 初代Macintosh型 Apple Watch用スタンド「elago W3 STAND」レポート (2017/01/23)
- 強力な写真編集ソフト「Smart photo editor」第二回、Effects Gallery 機能とは (2017/01/20)
- 除菌もできるコンパクトなスチームクリーナーを使ってみた (2017/01/16)
- コンパクトクリーナー「SMiSAT」を使って机上の掃除を (2016/12/28)
- CrazyTalk 8 PRO、２枚の写真から動く3Dの顔を作る (2016/12/21)
- Blue Micro Snowball USB 2.0マイクロフォンを入手 (2016/12/19)
- 強力な写真編集ソフト「Smart photo editor」の合成機能 (2016/12/14)
- デジタル・コスメティックが可能な「PortraitPro 15」レポート (2016/12/12)
- 誰のための「Designed by Apple in California」なのか？ (2016/12/07)
- デジタル・フォトビューティツールキット「FaceFilter 3 Standard」レポート (2016/11/30)
