マイクロソフト Mixed Reality パートナープログラムで発表された「MR脊椎・関節手術トレーニングシステム」についてご紹介します。
本件はお客様がお医者様だったため医療トレーニングの事例となっていますが、それぞれの機能については業界に依存しないものとなっています。
課題
お医者さんからの課題は下記でした。
- 手術室にあるモニターを極力減らしたい。
- モニターの設置コストを下げたり、広い場所がとれない手術室でも活用できる
- 研修医を受け入れており研修が終わってからのサポートが課題。初期からHoloLensでトレーニングを行い、遠隔でもサポートできるようにしたい。
ポイント
電子カルテをHoloLens画面内に表示
下図右にある電子カルテ(これはイメージです)のように、いままでモニターに表示していた映像をHoloLensに表示することでモニターを減らすことができる。また自分の見たい位置に自在に動かすことができる。
トレーニング
CTスキャンデータを3Dモデル化した立体の骨モデルを移動、回転、拡縮できる基本機能、骨の名称のような基本情報の表示ができます。
Sharing(空間共有)機能もあるので、同じ場所で同じ3D CGモデルを見ながらコミュニケーションを行うことができます。
音声アノテーションの機能により、音声でそのまま記録を残すことができます。
いままでのPCや手書きでのメモでは、記録者(ここでは研修医)の主観によって情報が減ってしまったり、内容が変わってしまったりします。音声であれば記録者(ここではベテラン医師)の情報、感情などフィードバックをそのまま保存できます。さらに音声であれば声を聴くだけで誰のコメント化を瞬時に認識することもできます。
HoloLensでは空間座標を持っているため、音声を記録した位置と視線の先の位置も同時に保存しています。
これによって「誰が」「どこから」「どこを見て」「記録を残した」かという情報がすべて残ります。音声が記録された位置から再生されるので、声は空間音響によって記録位置が音源となります。
この音声アノテーションの機能はFord社の事例にあるものを独自に実装しました。
ビデオチャット
遠隔でのサポートとしてビデオチャットの機能(WebRTC)をいれています。HoloLensのMixed Reality Capture(MRC)映像とマイクからの音声をWebRTCで遠隔地のコンピューターに送信します。
遠隔地のコンピューターはHoloLensに限らず普通のPCでもやり取りができます。すべてをHoloLensにする必要がないこと、いまのシステムの中にHoloLensを組み込むなど柔軟な対応ができます。
このビデオチャット機能はThyssenKrupp社の事例にあるものを独自に実装しました。
Windows MR Immersiveデバイスへの対応
本アプリケーションはHoloLensだけでなく、Windows MR Immersiveデバイス(以下、Immersiveデバイス)にも対応しています。
同じ場所でのSharingは複数台のHoloLensが適していますが、遠隔地であればImmersiveデバイスができしていることもあります。
ImmersiveデバイスではHoloLensとほぼ同じ機能が実装されていますので、音声アノテーションやビデオチャットを行うことができます。
このようにHoloLens、Immersiveデバイス、PCが連携してコミュニケーションを行うことは、2017年5月にHoloLens開発者のアレックス・キップマン氏がde:code 2017の基調講演で語っていたコラボレーティブ・コンピューティングをいち早く実装した例になっています。
最後に
みなさんの業界や業務用途において、これらのシナリオの部分部分が活用できれば幸いです。
