写真やイラストをリアルに喋らせる「CrazyTalk 7 for Mac」の可能性と限界

先に「写真やイラストをリアルに喋らせる「CrazyTalk 7 for Mac」ファーストインプレッション」と題して「CrazyTalk 7」というユニークなアプリケーションをご紹介したが、今回は今少し突っ込んだ検証をし、その可能性と限界を見据えてみようと思う。


「CrazyTalk 7」はたった1枚の人や動物の写真やイラストを表情豊かに喋らすことができるユニークなアプリケーションだ。
先般のファーストインプレッションをお届けした後、個人的には数十種のテ試作を体験した結果、機能の概要は勿論、このアプリケーションの可能性と共に限界もほぼ理解できたので今回はそうしたお話しである。

この種のアプリケーションは考え得る様々なソースを対象にして実際に試みることが大切だと思い、手元にある適当な素材をセレクトしていくつかの分類を作りながら実際に「CrazyTalk 7」でアニメ化してみた。
それらは大げさになるが「CrazyTalk 7」で処理する際のノウハウの違いとしていくつかに分けて考えると良いと思う。
第一は当然のこと「人間の顔」だ。また先般ご紹介したように犬はもとよりだが、サンプルに猫のデータがある様にソースが適切なら動物を対象にしても面白い結果が生まれるだろう。ただし人の顔であろうと犬の顔であろうと「CrazyTalk 7」で処理するのに適切・不適切があることも考慮しなければならない。

はっきり言えること、それは「CrazyTalk 7」で処理しやすいソースはピントが合い、ある程度サイズが大きな、そしてほぼ正面から撮った人間の顔だ。
「CrazyTalk 7」はそもそも人間の顔を処理するように考えられたツールだと思うが、それでも1枚の写真から良質のアニメーションを得ることは簡単ではない。
なぜなら、人の顔…それもよく見知った人の顔をソースとして使うとなかなか気に入った結果にはなりにくい。なぜなら家族の写真を実際に扱ってみれば一目瞭然だが、人の顔はほんの微妙な変化でも奇妙な印象となるからだ。

実例としてだが私は亡くなった父の写真を喋らせてみようと考えた(笑)。他の人の顔をいじくるのは気がひけるが自分の父親なら、それも亡くなっているのだから誰も文句はいわない(笑)。
しかしその写真の人物の特長や見せる表情をよく知っているからこそ、「CrazyTalk 7」でアニメ化したその人物はすでに父親の顔ではないのである。目の動かしかた,口の開け方などを見るとどこか奇妙な怖さを感じ、親父であって親父でない…ゾンビみたいな印象を受けてしまう。

それは以下ご紹介する雑誌の表紙を飾ったスティーブ・ジョブズの顔写真を例にしたものをご覧いただくだけで理解できると思う。本例は目を閉じ、首を傾げながら唇に笑みを浮かべるだけといういたって地味な動きしかさせていないが、明らかに不自然さを感じるのではないだろうか。これで例えば目を動かして口を開くような設定をすれば、それはすでにスティーブ・ジョブズの顔ではなくなってしまうのだ(笑)。



※FORTUNE誌の表紙を飾った若きスティーブ・ジョブズの顔をアニメ化してみた


したがって実写の顔写真を作品にする際にはまず瞳までクリアに撮れ、かつほぼ正面を向いている良質なソースが必要なのは勿論だが、「CrazyTalk 7」による各種設定もかなり精度を上げなければならないし、その動きも最小限度にすべきだろう。

また「CrazyTalk 7」によるアニメーションがどのような仕様なのかはいくつか実例を経験すればお分かりだと思うが、一番心しなければならないのはその動きが写真やイラストのソースのピクセルを補間してくれるものではなく、単に動きに必要な周囲を引き延ばすだけということだ。
そのため、例えば眼と眉毛が極近いような場合には目を閉じると眉毛の一部も大きく引っ張られて不自然になる。さらに前記したFORTUNE誌表紙の例をご覧いただくように、人物(ここではスティーブ・ジョブズ)が首を傾げたとき、その背景も一緒に動くことになる。これを完全に防ぐには背景を綺麗に抜くことが必要だが、背景のまま人物の顔を動かすには制約がついて回ることを知っていなければならない。

この事は顔と髪の関係にもいえることだ。顔のフィッティングエディタで各部位の指定をする際にはできるだけ詳細設定を使い、髪全体も動きに加えないと顔だけ傾けても髪全体、頭全体が動かないという奇妙な結果になってしまう。
こうした点に注視しながら特徴的な4つのアニメーションをご覧いただきたい。

① 絵画
  絵画をソースに使うとすれば、それが具象な肖像であるほど写真を扱う場合と大きな違いはない。ただし背景をそのままに「CrazyTalk 7」で編集する場合はフィッティングエディタで指定する範囲の選択がキモとなる。またオリジナルの雰囲気をそのまま活用するなら眼球は絵のまま、そして歯は加えない方が無難だろう。



② 斜めの写真
  「CrazyTalk 7」でアニメ化するソースは写真でもイラストでも正面の顔が理想だ。しかし現実的に考えるとそのために新しく撮影するといったことならともかく手元にある都合の良い写真やイラストがすべて正面を向いているとは限らない。ただ残念ながら真横を向いた顔は使いようもないがある程度角度がある写真の場合は顔をなるべく動かさず、眼と口元だけのアニメ化に徹すればまずまず使えると思う。



③ ユニークなイラストレーションの顔
  このケースは正直「CrazyTalk 7」のフィッティングエディタではどうにも上手くいかない物もある。ただしこれまた動きを限定し、「どこまで動く対象にするか」を試行錯誤し、なるべく不自然にならないような動作をさせることが成功の秘訣だ。なおこの猫のイラストはアンディ・ウォーホル初期の作品(部分)である。



④ 顔ではないものを扱う
  「CrazyTalk 7」は人や動物の顔をアニメ化するのが本来の目的だが、アイデア次第では例えば突如壁に顔が表示して喋ったり、食器や鍋釜を喋らすということも考えられるはずだ…。アニメーションやプレゼンの中で突如意外なものが眼と口をもって話し出す…というのも面白いではないか。ということでここでもアンディ・ウォーホルの作品に眼と口を付けてみた。




いかがだろうか…。無論ご紹介した例は「CrazyTalk 7」による様々な可能性と限界を知るために試作した例であって理想的なものではないが、ひとつでも面白いと感じていただければ幸いである。
「CrazyTalk 7」は本来アニメ化が難しい人物写真、それも1枚の写真から表情豊かで喋るアニメーションが容易に作れるユニークなアブリケーションで、それだけに当然ながら制約もあるわけだが、それらをどのように工夫したら理想的な結果になるかを考えながら「CrazyTalk 7」を活用することで新しい発見も多々あるものと思うし制約や限界を少しでも超える工夫をすることこそアプリケーションを使う楽しみではないだろうか…。

CrazyTalk 7
関連記事
広告
ブログ内検索
Macの達人 無料公開
[小説]未来を垣間見た男 - スティーブ・ジョブズ公開
オリジナル時代小説「木挽町お鶴御用控」無料公開
オリジナル時代小説「首巻き春貞」一巻から外伝まで全完無料公開
ラテ飼育格闘日記
最新記事
カテゴリ
リンク
メールフォーム

名前:
メール:
件名:
本文:

プロフィール

mactechlab

Author:mactechlab
主宰は松田純一。1989年Macのソフトウェア開発専門のコーシングラフィックシステムズ社設立、代表取締役就任 (2003年解散)。1999年Apple WWDC(世界開発者会議)で日本のデベロッパー初のApple Design Award/Best Apple Technology Adoption (最優秀技術賞) 受賞。

2000年2月第10回MACWORLD EXPO/TOKYOにおいて長年業界に対する貢献度を高く評価され、主催者からMac Fan MVP’99特別賞を授与される。著書多数。音楽、美術、写真、読書を好み、Macと愛犬三昧の毎日。2017年6月3日、時代小説「首巻き春貞 - 小石川養生所始末」を上梓(電子出版)。続けて2017年7月1日「小説・未来を垣間見た男 スティーブ・ジョブズ」を電子書籍で公開。また直近では「木挽町お鶴捕物控え」を発表している。
2018年春から3Dプリンターを複数台活用中であり2021年からはレーザー加工機にも目を向けている。ゆうMUG会員