ブログ@HoloLabInc

株式会社ホロラボのブログです

「xR Tech Tokyo #8」のスライドを公開します

f:id:kaorun55:20171119222218p:plain

2017/11/19 に開催された「xR Tech Tokyo #8」に弊社立原が登壇しました。 スライドを公開しているのでご参照ください。

www.slideshare.net

HoloLensとImmersiveデバイスの概要と稲波病院アプリの話となっています。

blog.hololab.co.jp

本講演ではコラボレーティブ・コンピューティングの話も入っています。これが今のところのホロラボでのAR/VR/PCのゴールと考えています。それぞれ連携することでコミュニケーションを支援する。単体でも何らかを支援する。それがWindows MRプラットフォームの考え方と解釈しています。

稲波病院アプリはコラボレーティブ・コンピューティングのテスト実装でもあり、スライド中でも説明と実装での対比が入っています。

説明

f:id:kaorun55:20171119222651p:plain

実装

f:id:kaorun55:20171119222705p:plain

動画

www.youtube.com

ツイートまとめ

togetter.com

2017年11月17日付 日経産業新聞に掲載されました

2017年11月17日付 日経産業新聞にホロラボの取り組みが掲載されました。

ビジネスとコミュニティの両面で紹介されています。

(2017/11/20)電子版が公開されています。

www.nikkei.com

1面トップにはビジネス面について、先日のTechSummitで発表された稲波病院様との「MR脊椎・関節手術トレーニングシステム」について。 f:id:kaorun55:20171118182105j:plain

3面では、コミュニティ面についてHoloMagiciansの取り組みとマイクロソフトパートナーについて。 f:id:kaorun55:20171118182026j:plain

ホロラボでは今後もビジネスとコミュニティの両面でHoloLnesやMRの取り組みを進めていきます。

「I/O 2017年 12 月号」にHoloLensの記事を書きました

「I/O 2017年 12 月号」に「「MR」と「HoloLens」」と題してHoloLensの記事を書きました。

f:id:kaorun55:20171115224338j:plain

HoloLensの概要から応用範囲や、Windows MRイマーシブデバイスの概要、アプリ開発の概要、コミュニティについて幅広くまとめています。

ぜひご覧ください。

IO 2017年 12 月号 [雑誌]

IO 2017年 12 月号 [雑誌]

MR脊椎・関節手術トレーニングシステムのご紹介

マイクロソフト Mixed Reality パートナープログラムで発表された「MR脊椎・関節手術トレーニングシステム」についてご紹介します。

本件はお客様がお医者様だったため医療トレーニングの事例となっていますが、それぞれの機能については業界に依存しないものとなっています。

blog.hololab.co.jp

課題

お医者さんからの課題は下記でした。

  • 手術室にあるモニターを極力減らしたい。
    • モニターの設置コストを下げたり、広い場所がとれない手術室でも活用できる
  • 研修医を受け入れており研修が終わってからのサポートが課題。初期からHoloLensでトレーニングを行い、遠隔でもサポートできるようにしたい。

f:id:kaorun55:20171109101419p:plain

ポイント

電子カルテをHoloLens画面内に表示

下図右にある電子カルテ(これはイメージです)のように、いままでモニターに表示していた映像をHoloLensに表示することでモニターを減らすことができる。また自分の見たい位置に自在に動かすことができる。 f:id:kaorun55:20171109090538j:plain

トレーニング

CTスキャンデータを3Dモデル化した立体の骨モデルを移動、回転、拡縮できる基本機能、骨の名称のような基本情報の表示ができます。

Sharing(空間共有)機能もあるので、同じ場所で同じ3D CGモデルを見ながらコミュニケーションを行うことができます。

f:id:kaorun55:20171109090601j:plain f:id:kaorun55:20171109090553j:plain

音声アノテーションの機能により、音声でそのまま記録を残すことができます。 いままでのPCや手書きでのメモでは、記録者(ここでは研修医)の主観によって情報が減ってしまったり、内容が変わってしまったりします。音声であれば記録者(ここではベテラン医師)の情報、感情などフィードバックをそのまま保存できます。さらに音声であれば声を聴くだけで誰のコメント化を瞬時に認識することもできます。 f:id:kaorun55:20171109090659j:plain

HoloLensでは空間座標を持っているため、音声を記録した位置と視線の先の位置も同時に保存しています。 これによって「誰が」「どこから」「どこを見て」「記録を残した」かという情報がすべて残ります。音声が記録された位置から再生されるので、声は空間音響によって記録位置が音源となります。 f:id:kaorun55:20171109090724j:plain

この音声アノテーションの機能はFord社の事例にあるものを独自に実装しました。 f:id:kaorun55:20171109100236p:plain

ビデオチャット

遠隔でのサポートとしてビデオチャットの機能(WebRTC)をいれています。HoloLensのMixed Reality Capture(MRC)映像とマイクからの音声をWebRTCで遠隔地のコンピューターに送信します。 f:id:kaorun55:20171109090751j:plain

遠隔地のコンピューターはHoloLensに限らず普通のPCでもやり取りができます。すべてをHoloLensにする必要がないこと、いまのシステムの中にHoloLensを組み込むなど柔軟な対応ができます。 f:id:kaorun55:20171108155853j:plain

このビデオチャット機能はThyssenKrupp社の事例にあるものを独自に実装しました。 f:id:kaorun55:20171109100243p:plain

Windows MR Immersiveデバイスへの対応

本アプリケーションはHoloLensだけでなく、Windows MR Immersiveデバイス(以下、Immersiveデバイス)にも対応しています。

同じ場所でのSharingは複数台のHoloLensが適していますが、遠隔地であればImmersiveデバイスができしていることもあります。

ImmersiveデバイスではHoloLensとほぼ同じ機能が実装されていますので、音声アノテーションやビデオチャットを行うことができます。

f:id:kaorun55:20171108164017j:plain

このようにHoloLens、Immersiveデバイス、PCが連携してコミュニケーションを行うことは、2017年5月にHoloLens開発者のアレックス・キップマン氏がde:code 2017の基調講演で語っていたコラボレーティブ・コンピューティングをいち早く実装した例になっています。

www.moguravr.com

最後に

みなさんの業界や業務用途において、これらのシナリオの部分部分が活用できれば幸いです。

ホロラボがMicrosoft Mixed Reality Partner Program認定を取得

f:id:kaorun55:20171108164021j:plain

HoloLensファンが作った会社が遂にMicrosoftの正式なMRパートナーになりました!

株式会社ホロラボは2018年11月8日、Microsoft Mixed Reality Partner Program認定を取得したことを発表しました。

今後ホロラボはMicrosoftのサポートを受けつつ、MR/AR/VR等の「xR」技術の様々な業界への普及に、精力的に務めます。

www.youtube.com

Microsoft Mixed Reality Partner Program/複合現実パートナープログラムは、HoloLensやImmersiveヘッドマウントディスプレイ(以下Immersive HMD)他、Mixed Reality(以下MR)技術によるシステムやソリューションを展開する優れた企業に対してMicrosoft社から提供される認定制度です。

f:id:kaorun55:20171109094529p:plain

今回ホロラボは並みいる大企業に交じっての早期認定事例となります。 (2018年に全世界で500社弱の認定予定)。

認定に際しては開発力のみならず、MicrosoftがMixed Realityアプリケーションに求める品質や、ビジネスの継続性や将来性、Microsoft社のMR戦略との整合性などが厳しく評価されました。

ホロラボではHoloLensやWindows Mixed Realityに関して、エンターテインメント、設計・製造、建設・建築など広範な産業分野で多数のお客様のMR技術研究支援と導入を行ってきましたが、Microsoft社との協議の中で、現在稲波脊椎・関節病院様と共同で進めている、MR脊椎・関節手術トレーニングシステムを事例として認定を取得しました。

f:id:kaorun55:20171108164025j:plain

MR脊椎・関節手術トレーニングシステムの機能

MR脊椎・関節手術トレーニングシステムにおいて、ホロラボではMixed RealityにおけるSharingの仕組みを高度に実装し、HoloLensやImmersive HMD装着者が手術対象となる骨の3Dモデルやお互いの閲覧位置を共有しながら、音声によるメモを空間に配置するなどのコラボレーション機能を実現しました。

また、HoloLensやImmersiveHMDなどのMR機器のみならず、通常のPCとの映像・音声共有を可能としており、Microsoft社が提唱する「Collaborative Computing」をいち早く実現しています。

f:id:kaorun55:20171108164017j:plain

Microsoft Tech Summit 2017 / EXPO

ホロラボは11/8~9に開催されるMicrosoft Tech Summit 2017において「Microsoft HoloLens Solution Experience」として体験ブースを開設し、稲波脊椎・関節手術トレーニングシステムの体験展示を実施します。

アプリケーションの概要についてはこちらを参照ください。

blog.hololab.co.jp

稲波脊椎・関節病院について

稲波脊椎・関節病院は、国内トップの年間1,590件(2015年実績)の脊椎内視鏡下手術実績を持つ岩井グループが、2015年7月に2院目として品川区東品川に開院した腰・膝の専門病院です。 「高度で、かつ身体への負担が少なく、安心を与えられる医療」を実践することを目的とし、最新技術導入へも積極的に取り組んでいます。その一環としてHoloLens/Mixed Realityの手術トレーニング環境への導入をホロラボと共同で検証しています。

ホロラボではMixrosoft認定のMixed Reality Partnerとして、一層高度かつ高品質なMRソリューションを様々な業界に提案して行きます。

関連リリース

メディア情報

「仙台IT文化祭」のスライドを公開します

2017年10月29日に開催された「仙台IT文化祭」で弊社中村、初音、上山、前本が登壇しました。 HoloLensやImmersiveデバイスの概要、開発概要、それぞれの組み合わせ、他のデバイスとの組み合わせと、半日で基本から応用まで学べる構成になっています。

2017.sendaiitfes.org

f:id:kaorun55:20171029173259j:plain

スライド

最初の10枚ほどはスポンサー紹介などとなっています。そのあとから本編が始まります。

中村:HoloLens/Windows MR概要

www.slideshare.net

初音:HoloLens/Windows MR開発入門

www.slideshare.net

上山:Academy 250から見るHoloLensとWindows MRデバイスの連携

www.slideshare.net

前本:HoloLensとさまざまなデバイス連携ドドンドーン

www.slideshare.net

取材記事「ホロレンズと複合現実による「体験の共有」で何ができるのか」が公開されています

IoTTodayにて「ホロレンズと複合現実による「体験の共有」で何ができるのか」が公開されています。

現状の案件の状況やHoloLensの特長から、ホロラボ設立の経緯などをお話ししました。 jbpress.ismedia.jp