iPhone XRとScandyProによる3Dスキャンに苦心しているが、ほとんどのユーザーがなかなか思い通りにいかないと嘆いているようにも思える。
またScandyProに関する日本語の情報が現在のところ極端に少ないことも分かりづらい要因になっているかと思うが、ScandyPro開発元のブログに「3D Scanning Tips」という解説が載っていたので確認して見た。
記述内容はScandyProを上手に使うための初歩中の初歩ということになるが、こうした点に注意をするかしないかでは結果が大きく変わると考える。
ということでScandyProで上手にスキャンするためのチップス部分を私なりに "意訳" してみたのでご紹介しておきたい。
なお原文／全文（英語）は ここ に載っている。
※ScandyProによるスキャン実例。工夫すればなかなかに綺麗なスキャンができる
■ScandyProによる3Dスキャニング Tips
3Dスキャンは、2D写真撮影より厳しい。それは、忍耐と多くの試行錯誤を必要とする。ただし一旦旨く行けば素晴らしい結果が得られ、iPhoneだけで優れた3Dコンテンツを作成でき、3Dプリンターへの活用や3Dデザインプロジェクトをすぐに開始できる。ともかく諦めずイライラしないで挑戦し続けるべき。そして旨く行った結果だけを保存しておこう。
１）iPhoneはゆっくりと動かすことが肝心。ここでは、速度は味方ではない。あまりに速くiPhoneを動かすとセンサーがトラッキングを見失う原因になる。また例えばスキャンしている方向が違う場合(垂直から水平など)は、注意をしないとトラッキングを失い、スキャンを回復できない可能性がある。 万一そんなことが起こったら諦めてやり直すしかない。
２）人物をスキャンするときは、なるべく動かないように依頼することが肝心。特に360度のスキャンには数分かかる場合がある。被験者に目の前の一点に集中してもらい、頭を動かさず静かに保つようお願いしよう。
３）解像度を最小にするとスキャンの品質が向上する。 スライダーを使用して調整するが、デフォルトは最小サイズに設定されるが必要に応じて調整してみよう。
４）特徴の無いモノクロの被写体は、カメラが追跡するのが難しい。そして顔をスキャンする場合、肩をフレーム内に保持すると頭の後ろをスキャンするときトラッキングを維持するのに役立つ(通常頭の後ろは顔よりも視覚的特徴が少ないのでトラッキングを失いやすい)。
５）一部の素材はうまくスキャンできない。 一般的に反射率の高い素材や透明な素材は、現在使用している技術では良い結果にはなり得ない。 例えばそれらの表面にフットパウダーの薄いコーティングをスプレーすると問題の解決に役立つ場合がある。
６）トラッキングを失うことなく完全な 360度スキャンをキャプチャするのが難しい場合、2つの小さなスキャンデータを作成し、別途Netfabb や MeshMixer などのソフトウェアプログラムを使用して手動で合成するとよい。
７）照明は重要。2D写真で使われるハイライトとシャドウを強調するドラマチックな照明は、 3Dスキャンでは適切に機能しない場合がある。通常、最高の3Dスキャン結果を得るには拡散光源から均等に照明された被写体がベスト。多々実験し自分の環境で最適なものを探すことが大切。
※ちなみに筆者はリング照明を使っている。
■Macテクノロジー研究所的アドバイス
できるだけ解像度が高く正確なスキャンができるかは前記したチップスを参考にしご自分で工夫するしか無い。そうした工夫の中でやりやすさと正確さを求める何らかのツールを考えてみるのも解決策のひとつではないだろうか…。
詳しくは別項「iPhone XRとScandyProによる3Dスキャン覚書」をご参照いただきたいが、iPhoneのインカメラをスキャニングに使うため、インカメラを対象物へ向ければ液晶が見えなくなり、そのままでは正確なスキャンは無理。
Macテクノロジー研究所的アドバイスとしてはもし3Dプリンターをお持ちなら鏡を使った「ミラーアダプタ」を作ることをお勧めしたい。要はインカメラの全面に鏡を45度の角度に設置しiPhoneの先端をスキャン対象物に向けると鏡に映ったオブジェクトはその下にあるインカメラで捉えられる理屈。したがって液晶画面を見ながらの操作が可能だ。
勿論、鏡はできるだけ精度の高いものが好ましいが手軽に扱えるのが一番の利点だからと筆者はステンレス製のものを使っている。
※自作の「ミラーアダプタ」を装着したiPhone XR
筆者が試した範囲で一番の方法はScandyProに備わっている２台目のデバイスで映像をモニターする方法だ。ただし例えばスキャンするiPhoneとモニター用のiPhoneの距離や位置関係が離れているとモニターを確認しながらスキャンを実行するのは困難だ。
※筆者のスキャニングはそのほとんどがこの自作グリップによる
ということでMacテクノロジー研究所では２台のiPhoneを同時に使うグリップを自作してみたが非常に使いやすくスキャン精度も向上している。
以上
すでに１０月も半ば近くになるものの天気が落ち着かない。３０度近くまで温度が上がる日があるかと思えば最高気温が２０度前後の日があったりもするし、そもそも雨が多いしまたまた大型の台風が来る。このラテ日記をアップする前後では影響を受ける地域も広くなりそうだが大きな被害にならないことを祈るばかり…。
台風１５号の被害からまだまだ立ち直っていない地域も多いのにまたまた大型台風とは…。またオトーサンの地域ではこの時期、幼稚園や保育園の運動会が予定されているが台風ど真ん中になりそうな気配だ。
とはいえ天気がまあまあの日の朝晩は秋の訪れを感じさせてくれるし街路樹なども一部紅葉が始まっていてラテとの散歩に文字通り彩りを加えてくれる。
※天気が良ければ散歩に最適な季節になった
気温が低いからか、ラテは気が乗ればゆっくりであっても小一時間歩き続けるし、かと思えば１０分も歩いていないのに路面に腹ばいになって動かない日もある。
ラテお気に入りのエンスト場所のひとつは幅３メートルほどの歩道である。ラテは他のことは全く忖度しないから場合によっては道の真ん中に陣取ったりもするが、そんなときにオトーサンは他の方の行き来に邪魔だから車道側ガードレールに近いところに引っ張るのも日課。
※歩道に座り込むラテ
座り込まれて困るのは飼い主のオトーサンだけではない…。歩道だからして人が行き来するし時には自転車も通る。通行人は杖を突きつつ歩くお年寄りからよちよち歩きの幼児まで様々だが、万が一にもトラブルがあってはならないと人が近づくとよりリードを引き、ラテが大きく動けないようにと注視する。
特に注意しなければならないのは老人と自転車、そして幼児。
老人の中にはボケているのか端に収まっている我々のところを強引に通過しようとしたり、杖がラテの尻尾を突いたりすることがあるからだ。その上にそもそもラテは老人が嫌いだ（笑）。近づくと間違いなく吠えるからなかなかに対処が難しい。
※日の出の時間も大分遅くなった…
無論自転車は一方的に危険な存在である。道路交通法がどうのこうのを振り回して車道を走れとばかりは言いたく無いが、ママチャリであってもゆっくり通って欲しい。中には前後にお子さんを乗せ、バランスが見るからに悪そうなのに猛スピードで近づく自転車がいてこれは怖い。
まあ、歩道に座り込むワンコというのも確かに邪魔な存在だし誉められることではないだろうが（笑）。確かに他のワンコ連れには迷惑をかけるときがあるのも事実。
近隣のワンコたちの多くは何度か出会っているから吠え合うワンコたちはお互いに分かっている。だから向こうからそうしたワンコがやってくるとオトーサンはラテのリードを引き、歩き出そうとするがそれでも頑固に居座ろうと抵抗する場合もある。
※ラテも興が乗れば結構な距離を歩くようになってきた
そんなとき、相手の飼い主さんは少し逆戻りして別の道を選ぶ方もいるし、ワンコが小型犬の場合は我々の脇を通るときに愛犬を抱き上げて通られる方もいる。
また人でもワンコ嫌いの方もいる。そのような方には前方にワンコが居座っていると落ち着いて通り難いかも知れずやはり居座りが長いと多々迷惑をかけることになる…。
ただし座り込んでいるラテを見てわざわざ声をかけてくださる方もまた多い。
先日はお若い女性が一旦通り過ぎたのに何を思われたか引き返してきて「触ってもよろしいですか」と声をかけてきた。
飼い主はウェルカムでもラテは初対面の大人には敏感でまず十中八句は吠えるからその旨をお伝えすると女性はラテの斜め前に腰を落とした。無論オトーサンもリードを引いてラテが飛びかからないよう力をいれていたが、どういうわけかラテは吠えない…。
ままこういうこともあるが、聞けば最近愛犬を亡くされたとのこと。大型犬で１６歳までの命をまっとうしたというのだから飼い主さんの思いがひしひしと伝わってくる。ほんの短い間だが、その方はラテの背を撫でて笑顔で立ち上がった。
そういえば大人に吠えるのが定番のラテだったが、歳のせいなのだろうか最近は多少穏やかになったことも確かなようで、公園で遊んでいる子供のオカーサンたちに近づいても落ち着いている。
※いつもの公園でお馴染みのオカーサンたちに近づいてもラテは吠えなくなった
飼い主としては嬉しいのだがいつまた急変するか分からないのでオトーサンとしてはお馴染みの方々以外には気が抜けないのである。
そこにある人物やオブジェクトをそのままスキャンし、3Dモデルとして形成すめ3Dスキャンは大変魅力的だがまだまだ技術的な壁や予算面の壁が厚くて高い分野でもある。無論数百万もの予算があれば実際に使い物になるであろう製品やシステムは存在するが一般ユーザーには手も足も出ない。
しかし調べて見ると市場には五万円とか十万円といった価格で入手できる3Dスキャナーも存在する。しかしMacで使えるものはほとんどないが、そんな中で少し前にMacサポートを歌う製品のひとつであるXYZプリンティング社の3Dスキャナーを幸いにも借り受けることができた。
これで大げさだが夢が叶うかと驚喜しあれこれと試行錯誤を続けたがMacの環境で使うソフトウェアに問題があり購入は断念せざるを得なかった。
3Dモデルを3Dプリンターでプリントする…ことはすでに珍しい事ではなくなっているが、そのためにはモデリングをやらなければならない。そしてその為の優秀なソフトウェアも存在するが、人の顔を代表とするような複雑な形状を易々と作り出せる者ばかりではないし、架空のフィギュアならまだしも、そこに実際にいる人物…私自身でも良いし愛犬でも良いが…を瓜二つの正確さでモデリングすることは難しい。しかし3Dスキャナーであればそんな夢のようなことが実現できる理屈なのだ。
※ScandyProによる3Dスキャン例。画面は各種編集モード
実際に結婚式やらの記念にと新郎新婦の全身をスキャニングして十数センチのフィギュアにしてくれるようなビジネスも存在する。無論そうしたことを実現するためには前記したような高価で場合によっては大がかりなシステムが必要となる。
しかしなんとかそこそこの性能でもよいから使えるシステムはないかと色々と調べてきたが、ここにきてiOS向けのアプリで魅力的な製品が登場してきた。
その大きな要因はiPhone X以降に搭載された「TrueDepthカメラ」による。TrueDepth（トゥルーデプス）カメラとは、Appleが開発しiPhone Xのインカメラにはじめて搭載したカメラシステムの呼び名であり、顔認証システム「Face ID」をはじめ複数の機能に活用されるものだ。
TrueDepthカメラは赤外線カメラ、環境光センサー、ドットプロジェクタ等のユニットを総称した呼び名であり、各種センサーがユーザーの顔の特有の形状を正確に読み取ることで精度の高い顔認証を実現し顔の傾きや表情なども高精度で読み取り可能な先進のテクノロジーだ。
要はこのカメラを3Dスキャナーとして使おうというアプリがいくつか登場した訳である。
それらの中で今回私が選んだのは “ScandyPro” というソフトウェアだ。例えばiPhone XRのインカメラに搭載された7メガピクセルのカメラの場合、解像度設定は実用1MMまで活用できる。
アプリのインストール自体は無料だが、スキャンしたデータの保存など実用とするには内部課金を必要とするが実によくできたアプリケーションだ。
なにしろiPhone X以降のユーザーなら必要な予算はサブスクリプションの僅かなものだけだ。
ただしiPhoneとScandyProをいかに上手に使ったとしても、それだけでモデリングが完成するわけではない。実際には別途パソコンにデータを取り込み、Meshmixerといったアプリを使い、データ修復のプロセスもセットで学ぶことが必要である。
アプリの細かな機能説明はここではやらないが、保存したデータの補正やエフェクト、スキャンしたデータを現実風景に合成して表示させるAR機能、あるいは操作過程の録画保存の機能まである。
※スキャンしたデータを実写風景に表示させるAR機能もある
ちなみに別途人の顔だけのスキャンに特化したアプリもあり、大変優秀なものだったが課金が高いしカラー情報（カラーマッピング）を保持したデータ保存ができないのでScandyProに落ち着いた次第。
ScandyProなら出力フォーマットもテクスチャーすなわちカラー情報を含んだPLYをサポートの他、PBJ/ STL/ USDZ/ GLB でも保存可能だ。
さてScandyProはとてもよく出来たアプリだが、実際の3Dスキャニングにはいわゆるコツを会得する必要がある。理屈はインカメラを適切な距離で対象物に向け、ゆっくり…丁寧にカメラを回り込ませるように移動するわけだがこれがなかなか旨く行かない。動きが速かったり角度が違ったりとデータ取得が不連続になると画面が赤くフラッシュすると同時にバイブレーションする。このエラーをなるべく少なく、そして素早く回避しつつスキャンニングしなければならない。
ただしいわゆる慣れというかコツを掴めば少しずつ上手になるが一番の問題はスキャニングするのがインカメラだということ。具体的な対策については別途ご紹介するつもりだが、自撮りするならともかく対面のオブジェクトや人物などにカメラを向ければ必然的に液晶が見えなくなる（笑）。液晶画面が見えなければ対象物をきちんとフレーミングして捕らえることが出来なくなる理屈で旨くいくはずはない…。
この自己矛盾の解決する方法はScandyPro自身がサポートしている別のiPhone／iPadでリアルタイム映像をモニター可能にする機能がある。同一Wi-Fi環境下でモニター側を確認しながらメインのiPhoneを対象物に向けることが出来るわけだ。ただしこの方法は当然ながらデバイスが２台必要となる。
また対象に向けるiPhoneの動きを別のiPhone／iPadで確認といえば簡単そうだが、両デバイスの位置関係が離れていると実にやりにくい。
※ScandyProにはスキャン画像を別のデバイスにモニターさせることができる機能がある
ということで１台のiPhoneでなんとか正確なスキャニングが出来る方法はないかと考えた末に鏡を使うことを思いついた。
TrueDepthカメラに45度の角度で鏡を置けば、iPhoneの先端部位を対象物に向けつつ液晶画面を確認することが出来るというわけだ。
※自作の「ミラーアダプター」。鏡は安全性と薄さを考慮しステンレス製を使った
早速3DプリンターでiPhoneに取り付ける「ミラーアダプター」を作ってみたが、結果は上々だった。しかしスキャニングしたデータの左右が逆になること、鏡の精度が悪ければスキャニングの結果にも影響が出ること、そしてアダプターの寸法やらをしっかりとしないとiPhoneを傷つけてしまいかねないことなどの問題もある。私はiPhoneにクリアケースを着けたままで装着できるアダプターを作った。
※iPhone XRに「ミラーアダプター」を装着したところ
「ミラーアダプター」はそれなりの成果を出したが優秀なiPhoneの光学系に鏡を介在させた映像を…という点が気になったし、幸い個人的には買い換え前のiPhone6s Plusを残して置いたため、前記した2台のデバイスを同時に使う手法を考えてみた。
要はiPhone同士の背を合わせる形にセッティングできる器具を用意すれば良い理屈で、それを片手で持てるよう工夫すればiPhone XRのインカメラで捕らえた映像がリアルタイムでその背面のiPhoneにモニターできる。
そしてこれであれば位置関係に混乱を起こさずに操作できることになる。
※自作の「デュアルiPhoneグリップ」にiPhone XRとモニター用iPhone 6s Plusを取り付けた例
結局手元にあった同じ形のスマホホルダーを2台取り付けるグリップを3Dプリンターで作ってみたらなかなかに便利だったし、正確で緻密なスキャニングができるためスキャン結果にもミスが少なくなったからデータも綺麗に取り込めるようになった。
※「デュアルiPhoneグリップ」で3Dスキャン実施中
後はいかにスムーズに、対象物を囲むようにスキャンできるかだ。
ちなみに私の目的・目標は人のバストアップまたは頭部をスキャニングし、それをカラー3Dプリンター（まだ持っていないが = 笑）で1/6程度のサイズで再現することだ。そして愛犬の姿もリアルなフィギュアとして残しておきたい…。
以下３つのスキャニング例を動画でご紹介しよう。
※iPhone XRとScandyProによる3Dスキャン_バストアップ例
※愛犬を3Dスキャン
※頭部のみ360度スキャン例
で、使い始めてから一週間ほど経ったがまだまだ理想にはほど遠い結果だが日々少しずつ進歩しているつもりである。
特に人の顔は少し歪めば別人になってしまうし、オリジナルの人物と分からないような結果では意味が無い。それだけ高いハードルだと思っているが急がずノウハウを蓄積していきたい。
結論めくが、3Dスキャンは2D写真撮影より難しいし忍耐と繰り返しの実戦が重要。ただし一旦旨く行けば素晴らしい結果が得られる。なにしろスマホから優れた3Dコンテンツを作成でき、3Dプリンターの活用や3Dデザインプロジェクトをすぐに開始できるのだ。イライラしないで挑戦し続けることが大事。
世界で最も先進的なデスクトップオペレーティングシステムの最新版となる macOS Catalina が10月7日、無料のソフトウェアアップデートとして提供された。macOS Catalinaでは、世界有数のクリエイティブな開発者による新作や、ここでだけ楽しめるゲームを目玉とする画期的な新ゲームサブスクリプションサービスの Apple Arcade も楽しめるようになる。
Macで楽しむエンターテインメントを強化するものとして、macOS Catalinaにはそれ以外にも、まったく新しいMacのApple Music、Apple Podcasts、Apple TVというアプリケーションが加わった。Sidecarと呼ばれる新機能では、MacにつないだiPadを2台目のディスプレイとして利用することでMacのデスクトップ画面を拡張したり、タブレット入力デバイスとしてApple Pencilを使ってMacのアプリケーションを操作できるようになる。
また音声コントロールは革新的なアクセシビリティ機能で、Macを完全に声だけでコントロールできるようになる。macOS Catalinaが搭載するMac Catalystは、Apple以外のソフトウェア開発者がiPadアプリケーションをMacで簡単に使えるようにできる新しいテクノロジーで、まずはTwitter、TripIt、Post-It、GoodNotes、Jiraなどを皮切りに、iPadでおなじみのアプリケーションが今後も続々と登場することが期待される。さらに今回から、Macでもスクリーンタイムが利用できるようになります。これにより、自分が各アプリケーションやウェブサイトで費やしている時間をチェックして、Macを使用する際の時間の使い方を管理できるようになる。
■Newroom
読書の秋、運動の秋…というわけでオトーサンはご近所の小学５年生女子の運動会でカメラマンをやるため、先日の土曜日に近隣の小学校へと向かった。運動会の撮影は今回が初めてではないから要領は分かっているつもりだったが、己の体力の衰えを実感されられた…。
小学校の校庭に入り、Aちゃんのご家族が場所取りしてくださったところで開始まで一休みする。幸い天気もよく日射しが強いがあの真夏の猛暑とは違い過ごしやすい感じで、これは運動会日和だなと思いながら撮影ポジションをどうするかを思い描きながら校庭を一回り。
※この日、ラテは７時間ほど留守番だった
近所の公園で顔見知りになった子供たちが近寄ってきて「あれ。ラテはどうしたの」と聞く。
「留守番してるよ。学校にワンコは連れてこれないでしょう」とオトーサンがいうと「あっそうか」と笑いながら駆けていく。また子供だけでなくその父兄の幾人かと朝の挨拶をするが、初回この校庭にAちゃんのファミリーと一緒だと「誰このひと」と些か訝しいと思われたかもしれない。しかしありがたいことに今回は「ああ、今年もね…」といった感じで挨拶をしてくださる。
そういえばそのラテだが、朝の８時２０分に自宅を出たものの運動会終了予定は午後３時だ。ということは７時間近くラテだけで留守番させることになる。
一応気温も上がるようだからとエアコンをつけたまま「ラテ、良い子で留守番しているんだぞ」と腹ばいになっている頭を撫でて靴を履くが、ラテは追いかけようともしないし頭さえ上げず「ああ。そう…」といった感じで目だけでオトーサンを追う。
まあ分離不安で出かける度に大騒ぎになるよりはお互いに良いのだが、あまりにサッパリしているとつまらない（笑）。
オトーサンのミッションはAちゃんの雄姿を記録に残すことだが、家族らが見学出来る場所は限られている。そしてそうした場所にはビデオカメラなどを携えたオトーサン、オカーサンらが待ち構えているわけでベストポジションを探すこと自体が難しい。
ミッションは大別して三種目だった。まずは100メートル走だが、これは是非ともゴールをきちんと撮りたい。次は騎馬戦、そして最後は５年生と６年生合同で演じる「みかぐら」という踊りだ。
※100メートル走、騎馬戦そして "みかぐら" 踊りの各シーン
結果騎馬戦の撮影は失敗に終わった…。数枚の写真は撮れたが動画は惨敗だった。それは撮影ポジションが悪く肝心のAちゃんの姿がトラックの向こう側と遠方でありすぎたことが一番だが、大きな問題はオトーサンの視力であった。
白内障は手術で良い結果となったがもともとの視力が弱いから、遠くであるほど裸眼でAちゃんの姿を終えなかったのだ。さらに炎天下だったから持参カメラの液晶が見づらく望遠は効くにしてもこれまた瞬時の判断が出来にくかった。
次の機会にはせめて液晶遮光フードを装備して臨もうと思うが視力ばかりはどうしようもない。
勿論視力が弱いのは今始まったわけではないが、昨年よりも認識率が落ちていることを実感させられてオトーサンはがっかりした…。
運動会は午後３時頃に終わり学校を後にしたオトーサンだったが「ラテが寂しがってるかなあ」と思いながらも足を速めたが、ドアを開け「ラテ、帰ったぞ」と声を上げても姿を現さない。
※散歩の途中、ラテは苦手なワンコが通るとオトーサンの足の上に前足を乗せて体を寄せる
ちょっと心配になり、部屋を覗くとラテは出かけたときとほぼそのままの姿で寝そべっている。「お前なあ…」と言いながら頭をなぜるとやっと顔をこちらに向けた。
まったく、普通なら７時間も飼い主が留守して戻ってきたら喜んで飛びついて来ても良いと思うが…。まあ逆に考えればオトーサンは絶対に戻ってくると信じているのかも知れないが。
※戻ってから気がついたが、両腕と顔は日焼けでかなり赤くなっていた
オトーサンは冷たい水で顔を洗い一息ついたが、ふと気がつくと両手がこれまでになく日焼けし赤くなっていることに気がついた。使っている眼鏡はUVカット99.9%を謳うレンズだが、眼も時間が経つにつれ疲労していったに違いない。
その日の日射しは感じていたよりずっと紫外線が強かったようだ…。
