技術ブログ

※本ブログは、ブログ” Azure Object Anchors is now in private preview ” の抄訳です。

Mixed Reality を活用することで、物理世界とデジタルの世界を融合した情報豊富な没入型のエクスペリエンスを実現することができます。このエクスペリエンスの基盤は、3D で人物、空間、オブジェクトを表現することであり、マイクロソフトのプラットフォームでこれを実現しています。私たちはこのポートフォリオをさらに拡充するために、このたび Microsoft Azure Object Anchors をリリースしました。

今日の Mixed Reality ソリューションでは、多くの場合、デジタル コンテンツを物理オブジェクトに合わせて配置することが必要で、お客様の多くは QR コードなどの物理マーカーによる配置と手動配置を併用しています。Azure Object Anchors を使用すると、Mixed Reality の開発者が、3D コンテンツを自動的に物理世界のオブジェクトに合わせて配置し、固定することができます。3D コンテンツが現実世界のオブジェクトに合わせて配置されるため、手動での配置が容易になるだけでなく、配置ミスが減り、ユーザー エクスペリエンスも改善されます。

Object Anchors を使用すると、ユーザー環境内の特定の物理オブジェクトを自動検出し、マーカーを使用せずに 3D コンテンツを配置するアプリケーションを構築できます。Object Anchors では、オブジェクトの奥行きや配置のデータを HoloLens 2 から取得し、オブジェクトごとに固定したり 3D コンテンツを自動配置したりすることができます。

Azure Object Anchors のワークフロー

Object Anchors には次の 2 つのステップがあります。

1. トレーニング エクスペリエンス: 最初のステップでは、配置するオブジェクトの 3D モデルを使用します。マイクロソフトのクラウド ベースのトレーニングと取り込み用パイプラインで 3D モデルを実行します。ここで、HoloLens 2 デバイスで使用するオブジェクト モデルの出力が得られます。
2. ランタイム エクスペリエンス: 次に、HoloLens 2 でオブジェクト モデルを使用し、SDK を呼び出して、マーカーを使用せずにリアルタイムで 3D コンテンツを配置します。

トレーニング エクスペリエンス

Object Anchors サービスでは、3D アセットを AI モデルに変換し、オブジェクトを認識する Mixed Reality エクスペリエンスを実現することができます。使用時のフローを次に示します。

1. 配置するコンテンツの物理オブジェクトを、サポートされている形式 (gltf、glb、obj、fbx、ply) のいずれかで 3D モデル化します。
2. Object Anchors サービスで 3D モデルを取り込み、マイクロソフトのトレーニング パイプラインで実行します。
3. トレーニングが完了したら、オブジェクト モデルのバイナリが出力されます。

ランタイム エクスペリエンス

トレーニングの出力が得られたら、対象オブジェクトを検出し 3D コンテンツを配置できるようになります。多くの場合、HoloLens 2 でランタイム機能を使用すると、ネットワークに接続しなくでもホログラムの自動配置を利用できます。

ランタイム エクスペリエンスを作成する場合のコード フローのステップは、以下のようになります。

1. セッションを開始する
2. オブジェクト モデルを読み込む
3. 検出範囲を設定する
4. 非同期的にオブジェクトを検出し、コンテンツを配置する
5. 配置を固定する
6. 3D コンテンツをレンダリングする

Unity と MRTK を使用した Object Anchors のサンプル アプリケーションをご用意していますので、初めて使用する場合にご利用ください。また、ランタイム SDK を使用すると、カスタム コードも作成できます。

ユース ケース

Mixed Reality は、作業ガイド、トレーニング、目視検査などによく使用されています。Object Anchors では、以下のようなことが可能です。

1. 従業員にシームレスに作業手順をガイダンス: Mixed Reality を使用すると、より簡単に従業員に作業手順を伝えることができます。 Object Anchors では、物理オブジェクト上にデジタル形式で指示やベスト プラクティスをオーバーレイ表示できます。
2. トレーニング資料を簡単に作成: マーカーを設置することなく、また、ホログラムの手動配置に時間をかけることなく、従業員用の Mixed Reality エクスペリエンスを作成できます。
3. 目視検査: 物理空間に存在するオブジェクトの既存の 3D モデルを Object Anchors で使用して、環境内のインスタンスを検出し、追跡できます。オーバーレイ表示されたデジタル コンテンツを利用することで、検査をすばやく実施できます。

お客様からのフィードバック

トヨタは、技術者に作業ガイダンスを提供する自社の Mixed Reality アプリケーションで Object Anchors の評価を行いました。トヨタにとっては、マーカーを使用せずに検出や配置が可能であることが不可欠でした。これは、物理マーカーを設置すると顧客の車に傷やよごれが付くおそれがあるためです。また、車のモデルのトレーニングはまず本社で行い、その後、全世界の技術者が整備作業でランタイム エクスペリエンスを使用できるようにしたいとも考えていました。栢野浩一氏は次のように述べています。

「Azure Object Anchors では、マーカーを使用せずに動的に 3D モデルを配置できるため、作業内容を技術者にすばやく正確に提示することができます。QR コードも使用せず、モデルを手動配置するミスもなくなるため、整備手順がさらに効率化します」

栢野浩一氏、サービス技術部門プロジェクト マネージャー、トヨタ自動車

ノルウェーの大手 AR/VR 代理店である Bouvet は、さまざまなシナリオで Object Anchors の評価を始めました。同社の Oyvind Soroy 氏は、Object Anchors を使用した経験について次のように語っています。

「QR コードを使用せずにモデルをオブジェクトに固定できる点が非常に優秀で、MR の開発において大きなアドバンテージとなっています。Azure Object Anchors はセットアップが容易で使いやすく、ユーザー エクスペリエンス全体の改良にも貢献しています」

Oyvind Soroy 氏、Bouvet

Azure Object Anchors を活用することで、Mixed Reality サービスがさらに充実します。プライベート プレビューが開始されましたので、ぜひ Object Anchors をご活用いただけますと幸いです。プライベート プレビューにはこちら (英語) からサインアップできます。Mixed Reality サービスの詳細については、こちらのページをご覧ください。