2021-03-08

docomo Open House 2021展示技術支援～「ARクラウドで実現するエンタメ拡張された街」

しばらくぶりにホロラボブログで執筆します、武仙です。

ちょっと時間が経ちましたが、2021/2/4～2/7の3日間で開催された株式会社NTTドコモ様(以下、ドコモ)の、年に一度のテクノロジー展示イベント「docomo Open House 2021」での展示開発についてお送りします。

昨年2020年開催時はリアル会場での開催で、Magic Leap 1やAceReal One、一部でHoloLensなども使ったXR系展示が大量に行われてて、もう何か武仙のためのお祭りじゃないかと勘違いするぐらいの雰囲気で圧倒されたのを思い出しました。

何が言いたいかっていうと、みんなすごい。
挑戦的に未来を手繰り寄せようとしてるドコモの皆さん。オレたちが大好きなセンサーや被り物てんこ盛りの展示会を知らない。
ホロラボ、デザイニウムのメンバーもいい仕事を(たぶん)活き活きとやってくれた成果が世に出て嬉しい。
また頑張ろう。 pic.twitter.com/lQuNR3vriQ
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2020年1月24日

ホロラボではいくつか展示開発をご一緒させて頂いていましたが、大きな反響を頂いたのがこの「ARクラウドで実現する未来の生活スタイル」。

ARクラウドで実現する未来の生活スタイル (docomo Open House 2020展示)

https://docomo-openhouse.jp/2020/exhibition/panels/B-02.pdf

元々ドコモ様が開発していたARクラウドプラットフォームのユースケース提案となるコンテンツを企画からご一緒して開発支援を担当させて頂きました。

反響が色々な形で大きくて、会場にもどこかのMeetupで見たような面々とお会い出来たりｗ

HoloLens Meetup in #ドコモオープンハウス pic.twitter.com/nhXywIBhWR
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2020年1月23日

なんと当時のMagic Leap社CEO Rony氏がブースに来て体験してくれて、しかもその後の基調講演で「これこそ私がやりたかったこと」的な言及をしてくれてたりとか。

本日ビッグサイト展示も最終日。
昨日はホロラボとデザイニウムで技術支援したARクラウドブースにMagic Leap CEOのRony氏が来てくれて、「これこそ私がやりたかったこと」と言ってくれたのが印象深かった。面と向かって言ってくれたのもあるけれど、講演の壇上でも言ってたらしい。 https://t.co/SDIWKoxMtV
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2020年1月23日

あと個人的に嬉しかったのが、清水亮さんが体験してくれてこんな問題提起を含んだブログにまとめてくれていたり。

#ドコモオープンハウスに関する清水亮さんの記事。ARクラウド展示も細かに体験して頂いて、感じたことを詳しく書いてくれてます。
この違和感みたいなものを具体化してその先を行かないと社会実装ってならないので、重要な考察だと感じます。https://t.co/wrmkwreasn
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2020年1月26日

その直後に新型コロナが蔓延して、世界の風景は一変。

ヘッドマウント系を被ってもらうのに消毒を徹底したり、そもそも予定していた展示系プロジェクトが無くなったり、、、そしてオリンピックも延期。。。

そんな中でも、ドコモ様からはその後のプラットフォーム開発を進める上で、前回展示のようなサンプルコンテンツをワンオフで作るのではなく、オーサリングツールを作ってよりたくさんの人にARクラウドを柔軟に活用してもらうための基盤開発の部分のご支援を担当させてもらえることに。

当初は概念設計で、ホロラボ社内では2020年の展示から担当をしていた林さんとヒノボルさんの2名がキャッチボールしながらあれこれと密に会話しつつどんな機能が必要となるかを詰めて行きました。

ある程度設計が見えた段階からは、開発規模も大きくなって徐々に開発メンバーが増員。オーサリングツール動作の目途が立った頃からはサンプルコンテンツとオーサリングツール開発が平行することに。

今度はコンテンツ企画とコンテンツ用各種マテリアルの制作チームを編成。社内には3Dコンテンツ制作が出来るメンバーがそれほど多くはないため、ゲーム用3Dアセット制作で実績のあるメルポット様にお願いしてチームを編成頂きました。

https://www.melpot.co.jp/

最終的にホロラボ担当パートのみでも20名を超えるチームとなり、完成したのは、ドコモ様の本社のある赤坂の街を舞台に展開されるCity ScaleのARコンテンツ。

ホロラボでも開発をお手伝いさせてもらった、docomo Open House 2021コンテンツ「ARクラウドで実現するエンタメ拡張された街」　※現在は閉会したのでリンク切れhttps://t.co/cLLe7ZIUcP #ホロハウス
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2021年2月12日

「ARクラウド」や「オーサリングツール」など、分かり辛い技術を分かりやすく説明するためのビデオも制作して、迎えた2月頭にめでたくdocomo Open House 2021でのお披露目に至りました。

AR関連技術がめざましく進歩して、以前はコンセプトでしかなかった体験がある程度実現可能になってきました。docomo Open House 2021で公開された動画をご覧いただいた方は「これ、映像にポストプロセスしたのではなくて、ARコンテンツとして体験ができるんです！」といった雰囲気をわかっていただけたのではないかなと思います。

最後に、貴重かつエキサイティングなプロジェクトに携わる機会を与えて頂いたドコモのチームの皆さん、ご一緒に企画・調査・設計・開発・コンテンツ制作と多岐に協力頂いているパートナー企業の担当の皆さん、ホロラボ内で担当してるチームメンバーの皆さんにお礼を申し上げます。

引き続きARクラウドで実現する街・人とデジタルコンテンツ・コンピューターとの新しい関係性、可能性をどんどん具体化していきましょう！

docomo Open House 2021 Staffs of HoloLab Part

Direction

General Direction - Yu Hata (HoloLab Inc. / Designium) https://twitter.com/yhworld

Assistant/Legal - Takesen (HoloLab Inc.) https://twitter.com/takesenit

Technical Direction - Tomoki Hayashi (HoloLab Inc.) https://twitter.com/keshin_sky

Technical Direction - Hinoboru - Nisho Matsushita (HoloLab Inc.) https://twitter.com/liketableteninu

Development

Authoring Tool - Tomonori Mizutani (Designium) https://twitter.com/mizutanikirin

Authoring Tool - Gerald Gmainer (Designium)

Authoring Tool - Yusuke Sakuma (Designium)

CMS/RT Server - Tatsuhiko Hayashi (Designium)

Client Viewer - Tomoki Hayashi (HoloLab Inc.) https://twitter.com/keshin_sky

Client Viewer - Hinoboru - Nisho Matsushita (HoloLab Inc.) https://twitter.com/liketableteninu

Client Viewer - Fumo Yoshida (HoloLab Inc.) https://twitter.com/fumobox

Client Viewer - Keizo Nagamine (HoloLab Inc.) https://twitter.com/KzoNag

Contents Production

Concept Making - Manabu Hasegawa (Designium) https://twitter.com/hassegawa

Produce Tomoyo Hirayama (HoloLab Inc.) https://twitter.com/Riserva79

Programming Mitsuki Bando (Mark-on) https://twitter.com/_udonba

Voice Koromo Aida

3D Modeling : Project Manager / Director - Toshio Yasuhara (MELPOT Inc.) https://www.melpot.co.jp/

3D Modeling : Art Director - Teppei Mizumoto (MELPOT Inc.)

3D Artisrt - Momo Igarashi (MELPOT Inc.)

3D Artisrt - Shinnosuke Kotani (MELPOT Inc.)

3D Modeling : Technical Adviser - Ryosuke Nakai (MELPOT Inc.)

Videography

Video Editing - Naoyuki Hirasawa (Designium) https://twitter.com/eatora22

App Developing - Matt Hudson (Designium) https://twitter.com/mechpil0t

2021-03-05

Microsoft Mesh ファーストインプレッション

HoloLens 2 Microsoft Mesh N

Microsoft Mesh がとても面白い環境だったので、ファーストインプレッションとして概要をまとめました。

f:id:kaorun55:20210305174246p:plain

スライド

Microsoft Meshの概要からHoloLens用アプリのファーストインプレッションまでをまとめました。

speakerdeck.com

動画

動画の最後のほうはClubhouseからの質疑応答のため、Youtubeだとわかりにくいかもしれませんがご参考まで。

youtu.be

合わせて見たい

Microsoft Ignite 2021 基調講演動画

www.youtube.com

Introducing Microsoft Mesh

www.youtube.com

Microsoft's Alex Kipman unveils Microsoft Mesh

www.youtube.com

Microsoft Ignite 2021 発表内容まとめ

blog.hololab.co.jp

2021-03-05

Ignite 2021でのMixed Reality関連発表まとめ

HoloLens 2 Azure Remote Rendering Azure Object Anchors N

f:id:kaorun55:20210305162754p:plain

Ignite 2021が日本時間3月3日から開催されました。初日の基調講演では1時間枠のうちの45分ほどがAlex KipmanのMR関連になっており、大きな比重を占めていることがうかがえます。

この中で「Microsoft Mesh」というMRを含むマルチデバイスのアプリプラットフォームが発表されました。Microsoft MeshはHoloLens、Windows MRやOculus QuestなどのVR、2D PC、iOS、Webなどの複数のプラットフォームで利用できるVirtual コラボレーションプラットフォームです。

基調講演動画

www.youtube.com

その他にも Azure Remote Rendering のリリース、 Azure Object Anchors のパブリックプレビューの案内がありました。

blogs.windows.com

Microsoft Mesh

MRを含むマルチデバイスのアプリプラットフォームです。

技術的には、アバター、空間、レンダリング、ユーザー同期の機能を持ちます。

blogs.windows.com

『Pokémon GO』の実証デモ

We’re thrilled to collaborate with @microsoft & @hololens on new experiences that will weave together the digital and physical world. Check out this proof-of-concept demo, built on our planet-scale platform, and the amazing possibilities that could await. https://t.co/ig0bQUIQ8b pic.twitter.com/gGk5djVayC
— Niantic, Inc. (@NianticLabs) 2021年3月2日

Introducing Microsoft Mesh

www.youtube.com

Microsoft's Alex Kipman unveils Microsoft Mesh

www.youtube.com

ホロラボではHOLO-COMMUNICATIONなど、Meshにも入っている機能を独自に開発したパッケージを展開しています。これらのアプリを引き続き進めること、Mesh化を行うことで、Meshを利用したアプリケーションの開発を進めていきます。

ファーストインプレッションはこちら。

blog.hololab.co.jp

その他の参考リンクはこちら

news.microsoft.com

www.microsoft.com

techcommunity.microsoft.com

Azure Remote Rendering(ARR)

HoloLens単体ではレンダリングできない高ポリゴンデータを、Azureでレンダリングすることでその限界を超えるサービスです。

サービスページ

azure.microsoft.com

ドキュメント

docs.microsoft.com

GitHub

github.com

ホロラボではいくつかの個別案件の実施と、 mixpace へのオプション機能の組み込みを行っています。

prtimes.jp

Azure Object Anchors(AOA)

車などの物体を3D形状で認識する機能です。

認識対象の3D CGデータをAzure上で学習し、その学習モデルを利用してHoloLensの環境データと合わせることで認識を行います。

サービスページ

azure.microsoft.com

ドキュメント

aka.ms

GitHub

aka.ms

ホロラボでは mixpace でCADデータの扱いも行っておりますので、連携含むAOAの利用を進めていきます。

2021-02-11

Mixed Reality Initiatives in Japan

HoloLens 2 N

I’m the CEO of a company called HoloLab Inc. which is specialized in the HoloLens app development. The date of establishment was January 18, 2017 which is the day when HoloLens was launched in Japan. Even now, everyone celebrates together with us at the anniversary community event on Jan 18 of every year.

My life has dramatically changed twice in the past 10 years. The first wave happened with Microsoft Kinect in 2011 when I was a Windows app developer (Win32), which shifted me into the world of sensors and computer vision. The second wave was Microsoft HoloLens in 2016, which motivated me to establish my own company. I'm very grateful to Alex Kipman.

We started a community at the same time of founding the company. Amazingly, 80 community members brought their own HoloLens at the first launch party event in 2017 even though it was right after HoloLens was launched in Japan.

f:id:kaorun55:20210211002925p:plain

As four years passed by, community and business significantly grown in Japan. Our community hosted the first local Mixed Reality Dev Days outside of the United States and successfully got together with many developers virtually. Alex Kipman gave a keynote speech, and we had diverse sessions from introduction to community and business situation, HoloLens app development fundamentals, Azure Mixed Reality services, to Azure Kinect DK use cases. Some English session archives are available here.

f:id:kaorun55:20210211002936p:plain

Regarding business, COVID-19 has restricted travel and forced us to put up with it. We must continue business activities under such a situation, and the people who work under this restriction is placing high expectation on HoloLens. As Satya Nadella said, “We’ve seen two years’ worth of digital transformation in two months,” I’m really feeling it from my own experience. In particular, the remote assistance applications, such as Dynamics 365 Remote Assist, are attracting attention from the second half of 2020 since COVID-19 restricts going out and employees unable going to factories and other sites. Therefore, we have started building a system which the person can support them remotely through information via onsite staff’s HoloLens. In Japan, we were in the process of digitization from a medium- to long-term perspective, so we are conducting many demonstration experiments since before COVID-19. One specific example is that the working population is decreasing in Japan due to the declining birth rate, and the elders reach the retirement age. Those factors prevent passing on skills and makes business difficult to survive. Passing on skills often takes a long time, but I’d like to fulfill that in less time using HoloLens.

Toyota Motor Corp. deployed HoloLens 2 to dealers for the operation in 2020. It was the remarkable case study in Japan and the global pioneer as the example for actual operation. It has changed the awareness of HoloLens that it is not the future device but the device which is useful for real business.

f:id:kaorun55:20210211002945p:plain