今回のデモでいうと、仮想的な家具を示すオブジェクト（水色がベッド、ピンク色がたんす）を、空間位置合わせを使って、現実の家具の位置へ重畳することにあたります。仮想的な家具を示すオブジェクトの初期配置は起動位置によって違うため、起動後に仮想空間と現実空間の位置回転の差分を計算し、仮想空間の補正をしていきます。

f:id:stopengin0012:20210421104348p:plain — デモにおける空間位置合わせのイメージ

仮想空間と現実空間の位置合わせのために、よく使われる手法としては、画像マーカーを用いる方法が挙げられます。また既存サービスとしては、Microsoft社のAzure Spatial Anchors *1 や、Azure Object Anchors *2、およびPTC社のVuforia *3 などが挙げられます。現状 HoloLens 2 以外では、Immersal \ *4 も注目されています。ホロラボにおいても、位置合わせに関する研究開発を行っています。

3. BCPD（Bayesian Coherent Point Drift）とは

点群位置合わせ手法の一つで、点と点の対応関係を効率よく導くことができる手法です。基本的には非剛体の点群位置合わせ手法ではありますが、パラメータを調整して剛体位置合わせに用いることもできます。 github.com

今回は、BCPDを剛体位置合わせ用のパラメータを指定することで、あらかじめ取得した部屋の点群と、位置合わせしたいタイミングでの部屋の点群の間のRST行列を得ます。ここでのRST行列とは、回転（Rotate）・拡大縮小（Scale）・平行移動(Translate)を含む4行4列の行列を指します。下記図は、あらかじめ取得した部屋の点群（青色）と、位置合わせしたいタイミングでの部屋の点群（緑色）、変換した結果の点群（水色）の関係を示しています。

f:id:stopengin0012:20210330140122g:plain — BCPDを使った部屋の点群位置合わせ

4. システム概要

システム概要図を以下に示します。

f:id:stopengin0012:20210330142732p:plain — システム概要図

まず、今回あらかじめ部屋の点群(ターゲット点群)を取得しておきます。

①まず、位置合わせしたいタイミングでの部屋の点群データ(インプット点群)を取得します。取得にはMRTKのサービスロケータから取得できるSpatial Mapを使用しています。（Spatial Understandingも使えると思います。）

②次に取得した部屋の点群データ(インプット点群)をローカルネットワークを介してPCへ送信します。今回BCPDの計算自体は計算用のPCを用意して、ローカルネットワークを介してやり取りをしています。ただ、手法としてはHoloLens 2上で計算することもできるはずです。

③インプット点群と、あらかじめ取得しておいたターゲット点群を使ってBCPDの計算を行い、二つの点群の間のRST行列を取得します。

④取得した二つの点群の間のRST行列をHoloLens2端末へ送信します。

⑤二つの点群の間のRST行列を用いて、空間をの位置合わせを行います。

5. おわりに

今回はHoloLens 2における、BCPD（Bayesian Coherent Point Drift）という点群位置合わせの手法の一つを用いた空間位置合わせシステムを開発しました。現在、2章で紹介した他の手法と比較して、精度、計算の速さ、利用点群の組み合わせ（例えば、全部屋をターゲットとして、インプットを一部屋にした場合はどうなるか？）についても調査を進めています。また、点群取得デバイスが違う場合（例えば、iPadのLidarで取得した点群をターゲットにした場合）ではどうすればよいか？などについても研究を進めていきたいと考えています。

*1 Azure Spatial Anchors :

https://azure.microsoft.com/ja-jp/services/spatial-anchors/

*2 Azure Object Anchors :

https://azure.microsoft.com/ja-jp/services/object-anchors/

*3 Vuforia :

https://developer.vuforia.com/

*4 Immersal : https://immersal.com/

2021-03-26

「Microsoft Ignite Recap Community Day」に登壇しました

HoloLens 2 展示/登壇 N Azure Remote Rendering Azure Object Anchors Microsoft Mesh

2021/03/24(水)に開催された「Microsoft Ignite Recap Community Day」に登壇しました。

申し込みが1000人を超え、YouTube視聴者も常時400人を超えてる状態でした。

Microsoft MVPの宮浦さん、堀尾さんと、3月上旬に発表されたMicrosoft Mesh, Azure Remote Rendering, Azure Object Anchorsについてのキャッチアップです。

当日は時間が短めだったことや、スライドや音声にトラブルがあったりだったので、近々再演したいねと3人で話してます。

msdevjp.connpass.com

スライド

Microsoft Mesh @ 中村

Microsoft Mesh Recap from Kaoru NAKAMURA

www.slideshare.net

Azure Remote Rendering @ 堀尾さん

speakerdeck.com

Azure Object Anchors @ 宮浦さん

Azure Object Anchors Recap from Takahiro Miyaura

www.slideshare.net

2021-03-23

ホロラボがEY Innovative Startup 2021受賞！

メディア掲載

EY新日本有限責任監査法人さま(以下EY)が「今後著しい成長が期待される企業」を表彰する“EY Innovative Startup 2021”にホロラボを選出頂きました！

24houritpeople.com

受賞そのものについてはホロラボからもPR TIMESにプレスリリースを出してますのでそちらをご参照頂けますと幸いです。

prtimes.jp

今回は何が嬉しかったっていろいろとあるのですがｗ、一つはEYさんが運営する賞を受賞出来たこと。設立してから4年を経て、想定外に成長をし続けるホロラボとしてちょうど会社の体制を整えて行っているところでした。

そこで今後重要となるのが監査法人さんとのお付き合い。いろいろと調査を進めると「監査難民」という言葉をよく耳にするようになりました。

www.nikkei.com

IPOを目指すスタートアップにとっては、適正に企業が経営できているかどうかを複数年に渡って外部の目線でチェックしてくれる監査法人とのお付き合いが極めて重要になる模様。一方で監査法人においても監査の厳格化や人手不足などの問題があり、結果として監査法人との契約が出来ずに路頭に迷うスタートアップが増えて来ているそうです。これ、この記事だけでなくいろいろなところで耳にします。

日経の記事から引用をしつつ今回の受賞のポイントを考えると、一つは、EYさんがこのビッグ4と言われる一角を担っているという実績の面。

IPO監査はかつてEY新日本監査法人、監査法人トーマツ、あずさ監査法人、PwCあらた監査法人のビッグ4が大半を担っていた。

もう一つは、このInnovative Startupなどを毎年運営してることも含めてIPO監査に力を入れているという姿勢の点。

EY新日本は7月、IPO監査の人材認定制度を始めた。21年6月までに約4100人いる会計士のうち1000人の認定を目指す。

これら2つの側面でこのタイミングでの受賞の意味が大きかったと感じてます。もちろん受賞をしたからと言って何が約束されたわけではないですが、ある意味での「お墨付き」を頂いたとは考えてもいいのかも。あとは、自分たがやることをやるだけ。

もう一つ嬉しかったことは、この受賞に際して共同創業者全員で集まっての写真撮影が出来たことｗ

2017年の立ち上げ時に、共同創業者5人全員お揃いで元祖HoloLensを着用してたくさん写真を撮りました。

prtimes.jp

みんな、写真とか撮られ慣れな過ぎてよくわからないポーズをしてますねｗでも、何となく素顔よりもHoloLensを着用してた方が被写体として平常心？に近づけた気がしたのは覚えてますｗ　当時の写真はCEO中村さんのツテで集合写真家のMasahiro Takechさんに撮影してもらったものです。当時はオフィスもなかったので、ご懇意にして頂いていた紀尾井町Yahoo! LODGEさんにお願いして撮影させてもらったりも良い思い出ｗ

その後、会社は大きく成長して、現時点でスタッフ30名を超える規模で大好きなMixed Realityの世界に取り組むことになりました。目まぐるしく環境が変わるその過程で、5人の共同創業者が顔をそろえたことは片手で足りるぐらいな回数だった気がします。

そんな中で受賞が決まって、発表用ウェブサイト制作の一環として「写真撮影を通してチームの結束力を高めましょう」といったことを事務局からご提案頂きました。久しぶりにみんなで集まるので意味なくわくわくして、どうしようか考えて武仙から提案。

「みんなで、別々な今を代表するXRデバイスを持って行こう。」

当日の撮影はあっという間でしたが、結果として取れた写真がこちら。HoloLens 2、Magic Leap 1、Nreal Light、Oculus Quest 2と、今を代表するXRデバイスを思い思いに着用。受賞した他のスタートアップの皆さんの堂々とした写真と比較するとだいぶ違った雰囲気になったかもですが、きっとこれがホロラボっぽいんだと思いますｗ

そして、メイキングじゃないですが撮影の風景がこちら。

ピンで撮影する代表っぽい中村さん。だいぶ貫禄出てきた？ｗ

「変顔で」って言ったら、載ってくれたのは前本さんだけだったりｗ

2017年に日本にHoloLensが上陸して、本当に色々な人に体験してもらいました。Mixed Realityという技術をきっかけに、コミュニティや仕事を通してたくさんの同志にも恵まれて、激しくも楽しい事業が順調に成長しました。

当時は視野角だったりコンピューティングパワーだったり技術的に出来ないこともありましたが、2021年を迎えた今は第二世代とも言うべきパワフルになったdeviceが、しかも複数のプラットフォームが選択可能になった、、、そんなことを写真で伝えられたらって考えていましたが、結局分かる人にしか分からないマニアックな試みになっちゃったかもですｗ

ただ、確実に市場は広がって来てるし、その押し寄せる波は日ごとに大きくなってるのを感じます。ぜひ、ご覧いただいている皆さんとご一緒に楽しみながら市場を盛り上げて行きたいと思います。

改めまして、今回EY Innovative Startup 2021を受賞した「NEXT GAME CHANGER」の1社としてご紹介を頂いてるホロラボの受賞ページもぜひご覧いただけると嬉しいです。 24houritpeople.com

武仙

ブログ@HoloLabInc

株式会社ホロラボのブログです

mixpace Remote Renderingの紹介セッションに登壇しました

URL

合わせて読みたい

「Kobe HoloLens Meetup! vol.4 - Ignite 座談会」に登壇しました

HoloLens 2でBCPDを用いた空間位置合わせシステムについて

1. はじめに

2. 空間位置合わせとは