ブログ@HoloLabInc

株式会社ホロラボのブログです

Microsoft Mesh ファーストインプレッション

Microsoft Mesh がとても面白い環境だったので、ファーストインプレッションとして概要をまとめました。

f:id:kaorun55:20210305174246p:plain

スライド

Microsoft Meshの概要からHoloLens用アプリのファーストインプレッションまでをまとめました。

speakerdeck.com

動画

動画の最後のほうはClubhouseからの質疑応答のため、Youtubeだとわかりにくいかもしれませんがご参考まで。

youtu.be

合わせて見たい

Microsoft Ignite 2021 基調講演動画

www.youtube.com

Introducing Microsoft Mesh

www.youtube.com

Microsoft's Alex Kipman unveils Microsoft Mesh

www.youtube.com

Microsoft Ignite 2021 発表内容まとめ

blog.hololab.co.jp

Ignite 2021でのMixed Reality関連発表まとめ

f:id:kaorun55:20210305162754p:plain

Ignite 2021が日本時間3月3日から開催されました。初日の基調講演では1時間枠のうちの45分ほどがAlex KipmanのMR関連になっており、大きな比重を占めていることがうかがえます。

この中で「Microsoft Mesh」というMRを含むマルチデバイスのアプリプラットフォームが発表されました。Microsoft MeshはHoloLens、Windows MRやOculus QuestなどのVR、2D PC、iOS、Webなどの複数のプラットフォームで利用できるVirtual コラボレーションプラットフォームです。

基調講演動画

www.youtube.com

その他にも Azure Remote Rendering のリリース、 Azure Object Anchors のパブリックプレビューの案内がありました。

blogs.windows.com

Microsoft Mesh

MRを含むマルチデバイスのアプリプラットフォームです。

技術的には、アバター、空間、レンダリング、ユーザー同期の機能を持ちます。

blogs.windows.com

『Pokémon GO』の実証デモ

Introducing Microsoft Mesh

www.youtube.com

Microsoft's Alex Kipman unveils Microsoft Mesh

www.youtube.com

ホロラボではHOLO-COMMUNICATIONなど、Meshにも入っている機能を独自に開発したパッケージを展開しています。これらのアプリを引き続き進めること、Mesh化を行うことで、Meshを利用したアプリケーションの開発を進めていきます。

ファーストインプレッションはこちら。

blog.hololab.co.jp

その他の参考リンクはこちら

news.microsoft.com

www.microsoft.com

techcommunity.microsoft.com

Azure Remote Rendering(ARR)

HoloLens単体ではレンダリングできない高ポリゴンデータを、Azureでレンダリングすることでその限界を超えるサービスです。

サービスページ

azure.microsoft.com

ドキュメント

docs.microsoft.com

GitHub

github.com

ホロラボではいくつかの個別案件の実施と、 mixpace へのオプション機能の組み込みを行っています。

prtimes.jp

Azure Object Anchors(AOA)

車などの物体を3D形状で認識する機能です。

認識対象の3D CGデータをAzure上で学習し、その学習モデルを利用してHoloLensの環境データと合わせることで認識を行います。

サービスページ

azure.microsoft.com

ドキュメント

aka.ms

GitHub

aka.ms

ホロラボでは mixpace でCADデータの扱いも行っておりますので、連携含むAOAの利用を進めていきます。

Mixed Reality Initiatives in Japan

I’m the CEO of a company called HoloLab Inc. which is specialized in the HoloLens app development. The date of establishment was January 18, 2017 which is the day when HoloLens was launched in Japan. Even now, everyone celebrates together with us at the anniversary community event on Jan 18 of every year.

 

My life has dramatically changed twice in the past 10 years. The first wave happened with Microsoft Kinect in 2011 when I was a Windows app developer (Win32), which shifted me into the world of sensors and computer vision. The second wave was Microsoft HoloLens in 2016, which motivated me to establish my own company. I'm very grateful to Alex Kipman. 

 

We started a community at the same time of founding the company. Amazingly, 80 community members brought their own HoloLens at the first launch party event in 2017 even though it was right after HoloLens was launched in Japan.

f:id:kaorun55:20210211002925p:plain

 

As four years passed by, community and business significantly grown in Japan. Our community hosted the first local Mixed Reality Dev Days outside of the United States and successfully got together with many developers virtually. Alex Kipman gave a keynote speech, and we had diverse sessions from introduction to community and business situation, HoloLens app development fundamentals, Azure Mixed Reality services, to Azure Kinect DK use cases. Some English session archives are available here.

 

f:id:kaorun55:20210211002936p:plain

 

Regarding business, COVID-19 has restricted travel and forced us to put up with it. We must continue business activities under such a situation, and the people who work under this restriction is placing high expectation on HoloLens. As Satya Nadella said, “We’ve seen two years’ worth of digital transformation in two months,” I’m really feeling it from my own experience. In particular, the remote assistance applications, such as Dynamics 365 Remote Assist, are attracting attention from the second half of 2020 since COVID-19 restricts going out and employees unable going to factories and other sites. Therefore, we have started building a system which the person can support them remotely through information via onsite staff’s HoloLens. In Japan, we were in the process of digitization from a medium- to long-term perspective, so we are conducting many demonstration experiments since before COVID-19. One specific example is that the working population is decreasing in Japan due to the declining birth rate, and the elders reach the retirement age. Those factors prevent passing on skills and makes business difficult to survive. Passing on skills often takes a long time, but I’d like to fulfill that in less time using HoloLens.

 

Toyota Motor Corp. deployed HoloLens 2 to dealers for the operation in 2020. It was the remarkable case study in Japan and the global pioneer as the example for actual operation. It has changed the awareness of HoloLens that it is not the future device but the device which is useful for real business.

f:id:kaorun55:20210211002945p:plain

 

My mission in 2021 is that we create more actual operation cases and increase the number of scenes where HoloLens helps our customers.

 

XR Kaigiの公開許可動画が公開されています

XR Kaigiの公開許可動画が公開されています。

講演動画はYouTube、資料は公式サイトの各講演ページにアップロードされています。

www.youtube.com

xrkaigi.com

ホロラボメンバーの登壇セッション

HoloLens 2 界隈の現状と未来

登壇者: 中村 薫

www.youtube.com

xrkaigi.com

OUR Shurijo みんなの首里城デジタル復元プロジェクト―発端からモデル作りの詳細まで

登壇者: 藤原 龍

www.youtube.com

xrkaigi.com

コミュニティオーガナイズドセッション HoloLens Meetup

登壇者: 前本 知志、酒井 辰也

www.youtube.com

HoloLensに関するセッション

ほかにもHoloLensに関するセッションが公開されていますのでリンクします。

www.youtube.com

www.youtube.com

www.youtube.com

アプリインストーラーを使用して HoloLens 2 にアプリをインストールする

いままでHoloLens 2にアプリをインストールするためには、ストアからインストールを行う、開発者モードのデバイスポータルからインストールを行う方法のみでした。

2020年12月のOSアップデートでアプリインストーラーによるインストールがリリースされました。

f:id:kaorun55:20210105022413p:plain

アプリインストーラーとはドキュメントより

開発者モードを有効にしたり、Device Portal を使用したりすることなく、アプリをインストールできます。 (USB 経由または Microsoft Edge 経由で) appxbundle をデバイスにダウンロードし、エクスプローラーでappxbundle に移動して、インストールを開始するように求めるメッセージが表示されます。

という機能になります。

docs.microsoft.com

要するにVisual Studioで作成したアプリパッケージファイルをUSBメモリやブラウザからHoloLens 2にコピーすることでアプリがインストールできるようになります。

この機能は規定は有効になりますが、下記の場合には管理デバイスとみなされ無効になります。

  • MDM に登録されている
  • プロビジョニング パッケージ で構成された
  • ユーザー が Azure ADでログインしている

(となっているのですが、自分のHoloLensがMDMかつプロビジョニング パッケージかつAzure ADなのですが、(おそらく)証明書の設定なしにアプリインストーラーが有効になっていたので、なんらかの条件が整っていた可能性もあります)

インストールしてみる

実際にUSBとOneDrive経由でインストールを行ってみます。

USBは現地で簡単にインストールが可能、OneDriveなどWeb経由は遠隔や複数人への配布に便利です。Web経由はOneDriveに限らずBlobなどファイルアクセスが可能な場所であれば、どこからでもインストール可能です。

youtu.be

youtu.be

OneDrive場合、共有リンクの作成にて、簡単に権限設定もできるので便利です。

例えば、OneDriveで組織アカウント内のみの共有にしておき、HoloLens 2側も組織アカウント(Azure AD)でログインしていれば、そのままアクセスが可能です。

f:id:kaorun55:20210105022037p:plain

Web経由でのインストール時のTips

Web経由でアプリをインストールする場合はURLをQRコードにしておくと便利です。

HoloLens 2はOS標準でQRコードを読む機能を持っているので、QRコードで展開すればHoloLens 2を装着して見ることでインストールまでの手順が可能になります。

QRコードの作成はなんでもよいですが、酒井さん( @saka_it )作成のQRコード作成、読み取りツールを使うと便利です。

qrpaste.netlify.app

おためし

おためし用のQRコードを置いておきます。

アプリはこのBlogのURLを開くだけのものになります。

f:id:kaorun55:20210105023449p:plain