こんにちは。HoloLensチームの酒井（@saka_it）です。
HoloLensからの（未来あふれる）視界は周りの人からは見えないため、不審者扱いされるというのはよくあることかと思います。また、展示などでデモをするときもHoloLens分の人しか同時に楽しめないため、待っている人が楽しめないといった問題もあります。
今回はそんなときに使えるHoloLensで見えている画面をPCなどで共有する方法について、まとめてみました。
この記事は NEXTSCAPE クラウドインテグレーション事業本部 Advent Calendar 2018の19日目の記事です。
Device Portal の Live preview
恐らく最も定番の方法だと思います。
ブラウザでアクセスするDevice PortalのMixed Reality CaptureページでLive previewボタンを押すと利用できます。遅延は大きいながらも有線接続対応でブラウザあればOK、と手軽に使いたいときや他の方法でうまく行かないときの最後砦など、まず押さえておきたい方法です。
- メリット
- 有線接続が可能
- アプリインストールが不要でブラウザがあればOK
- デメリット
- 遅延が大きい
HoloLensアプリの Live stream
Microsoft StoreにあるHoloLensアプリを使う方法です。
HoloLensアプリをインストールし、HoloLensに接続→Live streamから利用できます。単純なプレゼンテーション用途では次のMiracastが出たために使う機会も少なくなりましたが、PC側からの操作で接続できる（HoloLens側の操作は不要）ため、不慣れな方に使ってもらっている途中に画面を確認したい、といった用途には使えるかと思います。
- メリット
- Device Portalより遅延が少ない
- デメリット
- 画質を上げるとDevice Portalと同じくらいの遅延になる
- アプリインストールが必要
画質設定と遅延の関係については以前LTさせて頂いたときの資料にまとめています。
Miracast
RS5から導入された新機能で、遅延がほぼゼロというのが特徴です。
利用方法は簡単でブルームメニューから共有をクリックして、表示先を選択するだけです。上の2つと異なり、HoloLens側から共有を開始する形になります。Miracastは無線による画面共有のための規格であり、Windows10でもデバイスが対応していれば接続可能なほか、Miracastドングルを付けたディスプレイやSurface Hubでも表示することができます。
- メリット
- 遅延が少ない
- Miracast対応のディスプレイがあれば、PCが不要
- デメリット
- 対応デバイスが必要
- HoloLens側の操作が必要
PCとの接続方法については、ホロモンさんがまとめ記事を作成されています。
LowLatencyMRC
Mixed Reality Companion KitのMR View Compositorに含まれる、低遅延なLive Captureコンポーネントです。
これまで紹介した方法と異なり、HoloLensアプリへのコンポーネント組み込みとPC側アプリの作成が必要となります。導入ハードルは高いですが、オープンソースのコンポーネントとして提供されているため、カスタマイズ性が高いのが特徴です。
- メリット
- 遅延が少ない
- PC側アプリのカスタマイズが可能
- デメリット
- HoloLensアプリへの組み込みが必要
- 通信が悪い時に動作が不安定
導入方法については、とりカシュさんがまとめ記事を作成されています。
iOS SpectatorView
iOS端末を使って、HoloLensが見ている空間と同じような視界を第三者視点として表示する方法です。
こちらも、これまで紹介した方法と異なり、HoloLensを掛けている人の視界を共有するのではなく、空間そのものをARKitを使ってiPhoneやiPadで表示する方法になります。こちらも導入ハードルは高めですが、HoloLensより安価なiPhoneなどを使って、現実空間にモデル表示することが可能です。
- メリット
- HoloLensとは別の視点を提供することが可能
- 遅延が非常に少ない
- デメリット
- HoloLens-iOS端末間の同期やマルチデバイス対応など実装上の考慮が大きい
詳しい内容や導入方法は、iOSで動作するSpectatorViewを試してみる記事を参照してください。
SpectatorView Pro
以前はSpectatorViewと呼ばれていた、HoloLensにカメラを接続して第三者視点を実現する方法です。
iOS SpectatorViewが導入される前から利用されていたSpectatorViewとなります。機材の購入や設置も含めて導入ハードルは高いのですが、代わりにHoloLensやモバイル端末よりも高性能なカメラを使用することができます。
- メリット
- 高性能なカメラを使用できる
- 遅延が非常に少ない
- デメリット
- 機能の同期などの実装が必要
- カメラとHoloLensのキャリブレーションが難しい
- HoloLensをはじめ、デバイスの価格が高い
導入方法については、中村さんがまとめ記事を作成されています。
サードパーティのアセット
サードパーティー製のソリューションやアセットも存在します。要件が合う場合にはこれらを検討するのも良いと思います。
まとめ
このように、後から追加された方法もあるため、画面共有方法は割と種類があります。
もしどれを使えばよいか迷ったら、HoloLens視点であれば「Miracast」、第三者視点であれば「iOS SpectatorView」を最初に考えて、使えない事情があれば他の方法を考える、といった選択方法が良いと思います。
