中村です
2021年4月23日に開催された「Kobe HoloLens Meetup! vol.4 - Ignite 座談会」に登壇しました。
内容としてはMicrosoft Meshの全体観、Azure Remote Rendering、 Azure Object Anchorsについてです。
LTでMicrosoft Regional Directorの 室長さんが登壇されたこともあり、後半の座談会はビジネス寄りになりました。こっちよりでの座談会は珍しい気がしますので、ぜひご覧ください。
動画はこちら
スライドは「Microsoft Ignite Recap Community Day」と同じなので下記を参照ください。
ホロラボ 斎藤です。今回、R＆Dチームの取り組みの一つとして、BCPDを用いた空間位置合わせに関する調査を行ってみました。
AR/MRにおいて、コンテンツを含む仮想空間と現実空間を合わせることはとても重要です。 それぞれの空間の位置、回転、およびスケールを合わせることによって、ユーザーに違和感なく現実への情報の重ね合わせを行うことができます。
そこで、今回はBCPD（Bayesian Coherent Point Drift）という点群位置合わせの手法の一つを用いて、HoloLens 2で空間位置合わせを行ってみました。
まずはデモ動画をご覧になってください。
特にHoloLens2では、仮想空間の座標系の原点位置および回転は、アプリ起動時の端末位置および回転となります。 しかし、このままだと現実との空間座標系が合っていないため、仮想空間を現実に重畳できません。 したがって、何らかの方法で仮想空間と現実空間の位置合わせを行う必要があります。
今回のデモでいうと、仮想的な家具を示すオブジェクト（水色がベッド、ピンク色がたんす）を、空間位置合わせを使って、 現実の家具の位置へ重畳することにあたります。仮想的な家具を示すオブジェクトの初期配置は起動位置によって違うため、 起動後に仮想空間と現実空間の位置回転の差分を計算し、仮想空間の補正をしていきます。
仮想空間と現実空間の位置合わせのために、よく使われる手法としては、画像マーカーを用いる方法が挙げられます。 また既存サービスとしては、Microsoft社のAzure Spatial Anchors *1 や、Azure Object Anchors *2、およびPTC社のVuforia *3 などが挙げられます。 現状 HoloLens 2 以外では、Immersal \ *4 も注目されています。 ホロラボにおいても、位置合わせに関する研究開発を行っています。
点群位置合わせ手法の一つで、点と点の対応関係を効率よく導くことができる手法です。基本的には非剛体の点群位置合わせ手法ではありますが、パラメータを調整して剛体位置合わせに用いることもできます。 github.com
今回は、BCPDを剛体位置合わせ用のパラメータを指定することで、あらかじめ取得した部屋の点群と、位置合わせしたいタイミングでの部屋の点群の間のRST行列を得ます。
ここでのRST行列とは、回転（Rotate）・拡大縮小（Scale）・平行移動(Translate)を含む4行4列の行列を指します。
下記図は、あらかじめ取得した部屋の点群（青色）と、位置合わせしたいタイミングでの部屋の点群（緑色）、変換した結果の点群（水色）の関係を示しています。
システム概要図を以下に示します。
まず、今回あらかじめ部屋の点群(ターゲット点群)を取得しておきます。
①まず、位置合わせしたいタイミングでの部屋の点群データ(インプット点群)を取得します。 取得にはMRTKのサービスロケータから取得できるSpatial Mapを使用しています。 （Spatial Understandingも使えると思います。）
②次に取得した部屋の点群データ(インプット点群)をローカルネットワークを介してPCへ送信します。 今回BCPDの計算自体は計算用のPCを用意して、ローカルネットワークを介してやり取りをしています。 ただ、手法としてはHoloLens 2上で計算することもできるはずです。
③インプット点群と、あらかじめ取得しておいたターゲット点群を使ってBCPDの計算を行い、二つの点群の間のRST行列を取得します。
④取得した二つの点群の間のRST行列をHoloLens2端末へ送信します。
⑤二つの点群の間のRST行列を用いて、空間をの位置合わせを行います。
今回はHoloLens 2における、BCPD（Bayesian Coherent Point Drift）という点群位置合わせの手法の一つを用いた空間位置合わせシステムを開発しました。 現在、2章で紹介した他の手法と比較して、精度、計算の速さ、利用点群の組み合わせ（例えば、全部屋をターゲットとして、インプットを一部屋にした場合はどうなるか？）についても調査を進めています。 また、点群取得デバイスが違う場合（例えば、iPadのLidarで取得した点群をターゲットにした場合）ではどうすればよいか？などについても研究を進めていきたいと考えています。
*1 Azure Spatial Anchors :
https://azure.microsoft.com/ja-jp/services/spatial-anchors/
*2 Azure Object Anchors :
https://azure.microsoft.com/ja-jp/services/object-anchors/
*3 Vuforia :
https://developer.vuforia.com/
*4 Immersal : https://immersal.com/
2021/03/24(水)に開催された「Microsoft Ignite Recap Community Day」に登壇しました。
申し込みが1000人を超え、YouTube視聴者も常時400人を超えてる状態でした。
Microsoft MVPの宮浦さん、堀尾さんと、3月上旬に発表されたMicrosoft Mesh, Azure Remote Rendering, Azure Object Anchorsについてのキャッチアップです。
当日は時間が短めだったことや、スライドや音声にトラブルがあったりだったので、近々再演したいねと3人で話してます。
Microsoft Mesh @ 中村
www.slideshare.net
Azure Remote Rendering @ 堀尾さん
Azure Object Anchors @ 宮浦さん
www.slideshare.net
EY新日本有限責任監査法人さま(以下EY)が「今後著しい成長が期待される企業」を表彰する“EY Innovative Startup 2021”にホロラボを選出頂きました！
受賞そのものについてはホロラボからもPR TIMESにプレスリリースを出してますのでそちらをご参照頂けますと幸いです。
今回は何が嬉しかったっていろいろとあるのですがｗ、一つはEYさんが運営する賞を受賞出来たこと。設立してから4年を経て、想定外に成長をし続けるホロラボとしてちょうど会社の体制を整えて行っているところでした。
そこで今後重要となるのが監査法人さんとのお付き合い。いろいろと調査を進めると「監査難民」という言葉をよく耳にするようになりました。
IPOを目指すスタートアップにとっては、適正に企業が経営できているかどうかを複数年に渡って外部の目線でチェックしてくれる監査法人とのお付き合いが極めて重要になる模様。一方で監査法人においても監査の厳格化や人手不足などの問題があり、結果として監査法人との契約が出来ずに路頭に迷うスタートアップが増えて来ているそうです。これ、この記事だけでなくいろいろなところで耳にします。
日経の記事から引用をしつつ今回の受賞のポイントを考えると、一つは、EYさんがこのビッグ4と言われる一角を担っているという実績の面。
IPO監査はかつてEY新日本監査法人、監査法人トーマツ、あずさ監査法人、PwCあらた監査法人のビッグ4が大半を担っていた。
もう一つは、このInnovative Startupなどを毎年運営してることも含めてIPO監査に力を入れているという姿勢の点。
EY新日本は7月、IPO監査の人材認定制度を始めた。21年6月までに約4100人いる会計士のうち1000人の認定を目指す。
これら2つの側面でこのタイミングでの受賞の意味が大きかったと感じてます。もちろん受賞をしたからと言って何が約束されたわけではないですが、ある意味での「お墨付き」を頂いたとは考えてもいいのかも。あとは、自分たがやることをやるだけ。
もう一つ嬉しかったことは、この受賞に際して共同創業者全員で集まっての写真撮影が出来たことｗ
2017年の立ち上げ時に、共同創業者5人全員お揃いで元祖HoloLensを着用してたくさん写真を撮りました。
みんな、写真とか撮られ慣れな過ぎてよくわからないポーズをしてますねｗ でも、何となく素顔よりもHoloLensを着用してた方が被写体として平常心？に近づけた気がしたのは覚えてますｗ 当時の写真はCEO中村さんのツテで集合写真家のMasahiro Takechさんに撮影してもらったものです。当時はオフィスもなかったので、ご懇意にして頂いていた紀尾井町Yahoo! LODGEさんにお願いして撮影させてもらったりも良い思い出ｗ
その後、会社は大きく成長して、現時点でスタッフ30名を超える規模で大好きなMixed Realityの世界に取り組むことになりました。目まぐるしく環境が変わるその過程で、5人の共同創業者が顔をそろえたことは片手で足りるぐらいな回数だった気がします。
そんな中で受賞が決まって、発表用ウェブサイト制作の一環として「写真撮影を通してチームの結束力を高めましょう」といったことを事務局からご提案頂きました。久しぶりにみんなで集まるので意味なくわくわくして、どうしようか考えて武仙から提案。
「みんなで、別々な今を代表するXRデバイスを持って行こう。」
当日の撮影はあっという間でしたが、結果として取れた写真がこちら。HoloLens 2、Magic Leap 1、Nreal Light、Oculus Quest 2と、今を代表するXRデバイスを思い思いに着用。受賞した他のスタートアップの皆さんの堂々とした写真と比較するとだいぶ違った雰囲気になったかもですが、きっとこれがホロラボっぽいんだと思いますｗ
そして、メイキングじゃないですが撮影の風景がこちら。
ピンで撮影する代表っぽい中村さん。だいぶ貫禄出てきた？ｗ
「変顔で」って言ったら、載ってくれたのは前本さんだけだったりｗ
2017年に日本にHoloLensが上陸して、本当に色々な人に体験してもらいました。Mixed Realityという技術をきっかけに、コミュニティや仕事を通してたくさんの同志にも恵まれて、激しくも楽しい事業が順調に成長しました。
当時は視野角だったりコンピューティングパワーだったり技術的に出来ないこともありましたが、2021年を迎えた今は第二世代とも言うべきパワフルになったdeviceが、しかも複数のプラットフォームが選択可能になった、、、そんなことを写真で伝えられたらって考えていましたが、結局分かる人にしか分からないマニアックな試みになっちゃったかもですｗ
ただ、確実に市場は広がって来てるし、その押し寄せる波は日ごとに大きくなってるのを感じます。ぜひ、ご覧いただいている皆さんとご一緒に楽しみながら市場を盛り上げて行きたいと思います。
改めまして、今回EY Innovative Startup 2021を受賞した「NEXT GAME CHANGER」の1社としてご紹介を頂いてるホロラボの受賞ページもぜひご覧いただけると嬉しいです。 24houritpeople.com
武仙
しばらくぶりにホロラボブログで執筆します、武仙です。
ちょっと時間が経ちましたが、2021/2/4～2/7の3日間で開催された株式会社NTTドコモ様(以下、ドコモ)の、年に一度のテクノロジー展示イベント「docomo Open House 2021」での展示開発についてお送りします。
昨年2020年開催時はリアル会場での開催で、Magic Leap 1やAceReal One、一部でHoloLensなども使ったXR系展示が大量に行われてて、もう何か武仙のためのお祭りじゃないかと勘違いするぐらいの雰囲気で圧倒されたのを思い出しました。
何が言いたいかっていうと、みんなすごい。
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2020年1月24日
挑戦的に未来を手繰り寄せようとしてるドコモの皆さん。オレたちが大好きなセンサーや被り物てんこ盛りの展示会を知らない。
ホロラボ、デザイニウムのメンバーもいい仕事を(たぶん)活き活きとやってくれた成果が世に出て嬉しい。
また頑張ろう。 pic.twitter.com/lQuNR3vriQ
ホロラボではいくつか展示開発をご一緒させて頂いていましたが、大きな反響を頂いたのがこの「ARクラウドで実現する未来の生活スタイル」。
ARクラウドで実現する未来の生活スタイル (docomo Open House 2020展示)
元々ドコモ様が開発していたARクラウドプラットフォームのユースケース提案となるコンテンツを企画からご一緒して開発支援を担当させて頂きました。
反響が色々な形で大きくて、会場にもどこかのMeetupで見たような面々とお会い出来たりｗ
HoloLens Meetup in #ドコモオープンハウス pic.twitter.com/nhXywIBhWR
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2020年1月23日
なんと当時のMagic Leap社CEO Rony氏がブースに来て体験してくれて、しかもその後の基調講演で「これこそ私がやりたかったこと」的な言及をしてくれてたりとか。
本日ビッグサイト展示も最終日。
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2020年1月23日
昨日はホロラボとデザイニウムで技術支援したARクラウドブースにMagic Leap CEOのRony氏が来てくれて、「これこそ私がやりたかったこと」と言ってくれたのが印象深かった。面と向かって言ってくれたのもあるけれど、講演の壇上でも言ってたらしい。 https://t.co/SDIWKoxMtV
あと個人的に嬉しかったのが、清水亮さんが体験してくれてこんな問題提起を含んだブログにまとめてくれていたり。
#ドコモオープンハウス に関する清水亮さんの記事。ARクラウド展示も細かに体験して頂いて、感じたことを詳しく書いてくれてます。
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2020年1月26日
この違和感みたいなものを具体化してその先を行かないと社会実装ってならないので、重要な考察だと感じます。https://t.co/wrmkwreasn
その直後に新型コロナが蔓延して、世界の風景は一変。
ヘッドマウント系を被ってもらうのに消毒を徹底したり、そもそも予定していた展示系プロジェクトが無くなったり、、、そしてオリンピックも延期。。。
そんな中でも、ドコモ様からはその後のプラットフォーム開発を進める上で、前回展示のようなサンプルコンテンツをワンオフで作るのではなく、オーサリングツールを作ってよりたくさんの人にARクラウドを柔軟に活用してもらうための基盤開発の部分のご支援を担当させてもらえることに。
当初は概念設計で、ホロラボ社内では2020年の展示から担当をしていた林さんとヒノボルさんの2名がキャッチボールしながらあれこれと密に会話しつつどんな機能が必要となるかを詰めて行きました。
ある程度設計が見えた段階からは、開発規模も大きくなって徐々に開発メンバーが増員。オーサリングツール動作の目途が立った頃からはサンプルコンテンツとオーサリングツール開発が平行することに。
今度はコンテンツ企画とコンテンツ用各種マテリアルの制作チームを編成。社内には3Dコンテンツ制作が出来るメンバーがそれほど多くはないため、ゲーム用3Dアセット制作で実績のあるメルポット様にお願いしてチームを編成頂きました。
最終的にホロラボ担当パートのみでも20名を超えるチームとなり、完成したのは、ドコモ様の本社のある赤坂の街を舞台に展開されるCity ScaleのARコンテンツ。
ホロラボでも開発をお手伝いさせてもらった、docomo Open House 2021コンテンツ「ARクラウドで実現するエンタメ拡張された街」 ※現在は閉会したのでリンク切れhttps://t.co/cLLe7ZIUcP#ホロハウス
— 武仙＠ホロラボ・引越しました！ (@takesenit) 2021年2月12日
「ARクラウド」や「オーサリングツール」など、分かり辛い技術を分かりやすく説明するためのビデオも制作して、迎えた2月頭にめでたくdocomo Open House 2021でのお披露目に至りました。
AR関連技術がめざましく進歩して、以前はコンセプトでしかなかった体験がある程度実現可能になってきました。docomo Open House 2021で公開された動画をご覧いただいた方は「これ、映像にポストプロセスしたのではなくて、ARコンテンツとして体験ができるんです！」といった雰囲気をわかっていただけたのではないかなと思います。
最後に、貴重かつエキサイティングなプロジェクトに携わる機会を与えて頂いたドコモのチームの皆さん、ご一緒に企画・調査・設計・開発・コンテンツ制作と多岐に協力頂いているパートナー企業の担当の皆さん、ホロラボ内で担当してるチームメンバーの皆さんにお礼を申し上げます。
引き続きARクラウドで実現する街・人とデジタルコンテンツ・コンピューターとの新しい関係性、可能性をどんどん具体化していきましょう！
docomo Open House 2021 Staffs of HoloLab Part
Direction
General Direction - Yu Hata (HoloLab Inc. / Designium) https://twitter.com/yhworld
Assistant/Legal - Takesen (HoloLab Inc.) https://twitter.com/takesenit
Technical Direction - Tomoki Hayashi (HoloLab Inc.) https://twitter.com/keshin_sky
Technical Direction - Hinoboru - Nisho Matsushita (HoloLab Inc.) https://twitter.com/liketableteninu
Development
Authoring Tool - Tomonori Mizutani (Designium) https://twitter.com/mizutanikirin
Authoring Tool - Gerald Gmainer (Designium)
Authoring Tool - Yusuke Sakuma (Designium)
CMS/RT Server - Tatsuhiko Hayashi (Designium)
Client Viewer - Tomoki Hayashi (HoloLab Inc.) https://twitter.com/keshin_sky
Client Viewer - Hinoboru - Nisho Matsushita (HoloLab Inc.) https://twitter.com/liketableteninu
Client Viewer - Fumo Yoshida (HoloLab Inc.) https://twitter.com/fumobox
Client Viewer - Keizo Nagamine (HoloLab Inc.) https://twitter.com/KzoNag
Contents Production
Concept Making - Manabu Hasegawa (Designium) https://twitter.com/hassegawa
Produce Tomoyo Hirayama (HoloLab Inc.) https://twitter.com/Riserva79
Programming Mitsuki Bando (Mark-on) https://twitter.com/_udonba
Voice Koromo Aida
3D Modeling : Project Manager / Director - Toshio Yasuhara (MELPOT Inc.) https://www.melpot.co.jp/
3D Modeling : Art Director - Teppei Mizumoto (MELPOT Inc.)
3D Artisrt - Momo Igarashi (MELPOT Inc.)
3D Artisrt - Shinnosuke Kotani (MELPOT Inc.)
3D Modeling : Technical Adviser - Ryosuke Nakai (MELPOT Inc.)
Videography
Video Editing - Naoyuki Hirasawa (Designium) https://twitter.com/eatora22
App Developing - Matt Hudson (Designium) https://twitter.com/mechpil0t
