ブログ@HoloLabInc

株式会社ホロラボのブログです

HoloLensとYOLOの連携試作

f:id:kaorun55:20180711120200p:plain

HoloLensとYOLOv2(リアルタイムオブジェクト検出アルゴリズム)の連携を @tarukosu がトライしているのでまとめます。

YOLOv2はHoloLens単体では動作しないので処理用のPCを介しています。処理された結果をHoloLens上で3次元にポイントすることで、2次元の画像認識結果の表示とは違った表現をすることができます。

「Microsoft Remote Assist Preview」を試してみた

先日のBuildで発表された2つのHoloLens用アプリ「Microsoft Remote Assist Preview」と「Microsoft Layout (Preview)」がすでにストアで配信されているとのことで試してみました。

mspoweruser.com

ドキュメントはこちら

docs.microsoft.com

「Microsoft Remote Assist Preview」は遠隔支援用のアプリで、機能的にはHoloLensのSkypeと同じようにみえます。HoloLens側アプリのサインインには組織アカウントが必要(個人のMSアカウントではなく)、PC側のクライアントはMicrosoft TeamsアプリになるのでOffice 365が必要になります。HoloLensのWindows OSバージョンは現行のバージョン(14393)からの対応されています。

f:id:kaorun55:20180520171445p:plain

ストアのリンクはこちら

www.microsoft.com

「Microsoft Layout (Preview)」は家具などの配置アプリになります。自宅やオフィスなどモデルが用意され、HoloLensでは認識した空間に家具が配置できます。こちらのアプリはHoloLensとWindows MR Immersiveヘッドセットにも対応しており、ARだけでなくVRでもシミュレーションを行うことができます。こちらのWindows OSのバージョンは17134以上となっているので、HoloLensの場合はInsider ProgramからRS4へ更新する必要があります(RS4への更新手順はこちら)。

f:id:kaorun55:20180520171457p:plain

ストアのリンクはこちら

www.microsoft.com

「Microsoft Layout (Preview)」の記事はこちら

blog.hololab.co.jp

Microsoft Remote Assist Preview

概要

HoloLensのアプリとPCのTeamsアプリ間でビデオ通話ができます。既存のHoloLens用Skypeと同様にPC側からの書き込みや矢印の挿入なども可能です(ブラウザ版のTeamsでもビデオ通話のみ動いた気がするのですが、いま試したら通話もできませんでした)。

f:id:kaorun55:20180520172538p:plain

昨年に発表されていたものになるかと思います

来年の第 1 四半期に、Microsoft Teams と Azure Active Directory をベースとしたホログラムによるリモート指示機能を追加いたします。

blogs.windows.com

必要なもの

  • Microsoft Remote Assist Previewアプリ(HoloLens)
  • Microsoft Teamsアプリ(PC)
  • Azure ADアカウント(Office 365など)

Remote AssistのPC側にはMicrosoft Teamsアプリが必要なので、Teamsが使用できるOffice 365の契約が必要になります。300ユーザーまではOffice 365 Business Premium/Essentials、それ以上であればOffice 365 Enterprise E1/E3/E5になります。今回はOffice 365 Business Premium/Essentialsで試しています。

f:id:kaorun55:20180520173315p:plain

特長

Remote Assist の特長は既存のSkypeの機能のほかに下記があります

  • PCのTeams側からHoloLens側にファイルを転送できる(現状は画像ファイルのみ)
  • ブルームでアプリが待機状態になってもキャプチャーと音声はPCのTeams側に送信されている
  • PCのデスクトップをHoloLens側に転送できる

アプリが待機状態になっても、キャプチャーと音声が送信されるのはすごいですね。遠隔コミュニケーションアプリのいくつかはこれでカバーできるかもしれません。

インストール

HoloLensのストアから上記リンクにて「Microsoft Remote Assist Preview」を開きます(現状、ストアを検索しても出てこず、場合によってはリンクからブラウザを開いた後にストアが開けない場合もあるようです)。

なお、Remote Assistアプリのサインインには組織アカウントが必要ですが、HoloLensのアカウント自体は個人のMSアカウントでも問題ありませんでした(HoloLens自体をリセットして組織アカウントにする必要はない)。

f:id:kaorun55:20180519212200j:plain

Windows 10のバージョンは14393からなので現状のHoloLensでも動作します。

f:id:kaorun55:20180519212220j:plain

起動

アプリをインストールしたら起動します。

f:id:kaorun55:20180519212301j:plain

起動後にサインインを求められるので組織アカウントを入力します(なんとなくキーボードがMRDLっぽですね)。 f:id:kaorun55:20180519212316j:plain

組織アカウントのユーザー名を入力すると画面が2Dに切り替わってブラウザが開きパスワードの入力を求められます(ここで切り替わるので、またHoloLensの排他アプリ内でのブラウザは使えないようですね)。

f:id:kaorun55:20180519213401j:plain

サインインに成功するとアプリの説明がいくつか出てきます。

f:id:kaorun55:20180519213435j:plain

f:id:kaorun55:20180519213441j:plain

f:id:kaorun55:20180519213446j:plain

f:id:kaorun55:20180519213450j:plain

f:id:kaorun55:20180519213458j:plain

アプリの利用

一通り説明を見終わると連絡先の一覧が表示されます。ここでHoloLens側から相手をクリックするとPCのTeamsアプリに呼び出しがかかります。

f:id:kaorun55:20180519213747j:plain

PC側とは音声またはビデオ通話となりSkypeアプリのようなペンでの書き込みや矢印の設置などが行えます。

f:id:kaorun55:20180520172538p:plain

連絡先に相手がいない場合にはむしメガネボタンからユーザーの検索ができます。

f:id:kaorun55:20180519213759j:plain

f:id:kaorun55:20180519213824j:plain

まとめ

Skypeは個人のMSアカウントなので、業務利用での同じ機能を持ったアプリに見えます。現状はOffice 365のライセンスを持った企業がそのままHoloLensを利用した遠隔支援のシナリオを実施可能になります。

花園中学高等学校の Microsoft HoloLens を用いた企業提案型プログラムに協賛

企業提案型プログラム「ディスカバリープログラム」について

学校法人花園学園 花園中学高等学校(以下、花園中学高等学校)のカリキュラムの一環として企業提案型プログラム「ディスカバリープログラム」が開始されました。このプログラムでは下記項目を MISSION として掲げ、Microsoft HoloLens を用いた探究活動を進めています。

花園中学高等学校 臨済宗妙心寺派を母体として「禅のこころ」を建学の精神に140年以上の歴史を誇る伝統校です。

MISSION

  • MR*1 の利活用がもたらす未来型教育を提案せよ
  • MR の利活用がもたらす未来の活動を創造せよ

「ディスカバリープログラム」の詳細

対象:花園中学高等学校 中学3年生
スケジュール:
 3月 ミッション通達
 4月~6月 グループ調査
 7月~8月 調査・取材活動
 9月~11月 企画発表

協賛企業

株式会社ホロラボは、この企業提案型プログラム「ディスカバリープログラム」に、株式会社神戸デジタル・ラボ、日本マイクロソフト株式会社、株式会社ポケット・クリエーズとともに協賛いたします。

*1:Mixed Reality, 複合現実

続きを読む

IoT/M2M展で展示をしました

5/10-12に開催されたIoT/M2M展でマイクロソフトブース内に展示を行いました。展示内容はLiberawareさまと取り組んだ「小型産業用ドローンによる屋内狭小エリア点検ソリューション」です。

blog.hololab.co.jp

f:id:kaorun55:20180524153734j:plain

マイクロソフトのミニセミナーコーナーのすぐ横だったため、会期中は終日人が絶えず盛況で500部用意したちらしが足りず会期中に追加で印刷したほどでした。

ブースに訪問される方はHoloLensに興味がある方とドローンに興味がある方が半々くらいで、双方非常に熱気がある分野と感じました。

f:id:kaorun55:20180524153728j:plain

f:id:kaorun55:20180524154936j:plain

HoloLensとロボット( ROS )との連携試作

f:id:kaorun55:20180711115349p:plain

HoloLensとロボットとの連携を @tarukosu がトライしているのでまとめます。

ロボットはUbuntuのPCとUSB接続されていてUbuntu上のROSで制御されています。HoloLensはROSとの通信でロボットとの連携を行っています。

現実のロボットアームとHoloLens内のロボットアームの動きを同期する

ロボットアームの座標系を表示する