3D スキャナを使用せずに 3D 空間をキャプチャする方法。（2/3)

本記事は、デジタルツインの作成に何が必要なのかについて週一ペースで説明する連載物の 2 回目です。今週は、2D 画像をもとにデジタルツインを構成する際のさまざまな課題と、それを克服するために最初にクリアすべき点について説明します。

先週は、高価になりがちな 3D スキャナではなく、価格が手頃で手に入れやすい 360 度カメラのみでデジタルツインを作成する方法について触れました。そのプロセスは一見すると Beamo.aiのおかげで簡単に行えるように見えますが、一方で乗り越えなければならないハードルがいくつかありました。

欠けているのは位置情報のピースか？

2D の写真から 3D を再構成する作業は、極端に複雑になるため、コンピュータビジョンにおける中核的な課題の 1 つと考えられています。

再現性の高いデジタルツインを作成するには、まず十分な数の 2D パノラマ（スキャンまたはキャプチャポイントとも呼ばれる）を集める必要があります。各キャプチャポイントをもとに 360 度の球体を形成した後は、次のステップに進みます。ここではすべての球体が完璧に揃うように位置を調整し、視覚的にリアルな 3D 空間を再現します。この位置調整は、実用的なデジタルツインを作るうえで非常に重要で、ユーザー体験の良し悪しを左右します。位置調整が不完全だとズレが生じ、ユーザーが混乱する可能性があります。

最新型のシステムでは、各キャプチャポイントの位置を相対的に認識できるようにするために、同じ物体をさまざまな角度から撮影した写真がいくつも必要になります。このような状況では、人間が開発したモデルやアルゴリズムよりも、ディープニューラルネットワークの方が、はるかに優れ、より効率的な作業を行うことができます。3D 再構成の速度と精度を向上させるために、データセット全体から最良の画像の特徴やパターンを取り出す方法を、ディープラーニングベースのモデルに学習させました。

デジタルツインのパズルを解く

例えば、パズルのピースが乱雑に積み重なっているとします。この場合、まず色別にピースを分け、互いに比較し、同じようなパターンまたは特徴を持っているピースを探すことになります。Beamo の ASC（Auto Scene Connection）アルゴリズムも同様のアプローチを採っていました。これは、3D 再構成プロセスを自動化した当社初のシステムでした。ASC は、各写真から特徴点を抽出し、特徴点のセットを比較します。一致した場合は、画像間の相対的な位置関係を推定します。この処理の繰り返しが終了する頃には、画像の位置関係とつながりのマッピングがすべて完了します。こうして ASC アルゴリズムにより、3D 再構成プロセスを全自動化することができたのです。しかし、最適な結果を得るには膨大な計算能力が必要になるため、改善の余地がありました。

デジタルツインソリューションの多くが、ここで失敗に陥ります。キャプチャポイントが一定数を超えると対応できないのです。デジタルツインが大きくなりすぎると、適切に処理できなくなり、計算が失敗する可能性があり、多大な労力を費やしたキャプチャ作業がすべて無駄になってしまいます。この問題を解決する方法としては、空間を別々のキャプチャに分割してから、それらを組み合わせて 1 つの大きなデジタルツインにまとめるという方法が考えられます。しかし、これには通常、コストがかかる処理または手作業が必要になります。

また、共通の特徴点が見つからなければ、処理は事実上不可能になります。この問題は、部屋から部屋へ移る際に、徐々に移るのではなく急に移る場合に発生することがあります。したがって、処理中に共通の特徴を検出できるように、通常は各部屋の戸口ごとにキャプチャしなければなりません。

また、屋外では共通の特徴がない、または位置が離れてすぎているという理由で、キャプチャがしばしば不可能になります。

「確かに 3D 再構成を行う際に、類似のパターンや特徴を比較して探すことは、空間が非常に広い場合には適していません。私たちは、移動しながら利用できるソリューションを見つける必要がありました」
3i Inc. - 研究開発部門、主任エンジニア、Farkhod Khudayberganov 氏

では、もう進むべき道はないのでしょうか。それとも、キャプチャと処理をよりシンプルで簡単にし、広々とした空間でも機能するソリューションはあるのでしょうか。結論を急ぐのはやめましょう。この答えは、本連載の最終回で紹介します。来週は、「3D スキャナを使用せずに 3D 空間をキャプチャする方法」の最終回をお届けします。