ブログ@HoloLabInc

株式会社ホロラボのブログです

mixpace Remote Renderingの紹介セッションに登壇しました

中村です。

4/27に日本マイクロソフト主催の「『Azure Remote Renderingを活用して超重量級CAD/BIMを扱う「mixpace Remote Rendering」のご紹介』」に登壇しました。

1時間ほどで内容は下記になっており、HoloLensの概要からAzure Remote Renderingの概要、活用事例まで広く情報を得ることができます。

アーカイブの公開もありますので是非ご覧ください。

  • HoloLens 2、 Azure Remote Rendering 概要(日本マイクロソフト 鈴木あつしさん)
  • mixpace概要(SB C6S 遠藤さん)
  • mixpace Remote Rendering概要(中村)
  • mixpace Remote Rendering + BIM 360事例(東急建設 橋口さん)

URL

サイト

special.nikkeibp.co.jp

アーカイブ配信はこちら(要申し込み)

sbb.smktg.jp

スライドはこちら

speakerdeck.com

mixpace Remote Renderingについて

prtimes.jp

合わせて読みたい

mixpace Remote Renderingは国土交通省 関東地方整備局さまでも活用いただいており、その概要をPTC社のセミナーでも紹介しております。

こちらも要登録ではありますが、ぜひご覧ください。

prtimes.jp

blog.hololab.co.jp

「Kobe HoloLens Meetup! vol.4 - Ignite 座談会」に登壇しました

中村です

2021年4月23日に開催された「Kobe HoloLens Meetup! vol.4 - Ignite 座談会」に登壇しました。

内容としてはMicrosoft Meshの全体観、Azure Remote Rendering、 Azure Object Anchorsについてです。

LTでMicrosoft Regional Directorの 室長さんが登壇されたこともあり、後半の座談会はビジネス寄りになりました。こっちよりでの座談会は珍しい気がしますので、ぜひご覧ください。

arkobe.connpass.com

動画はこちら

www.youtube.com

スライドは「Microsoft Ignite Recap Community Day」と同じなので下記を参照ください。

blog.hololab.co.jp

HoloLens 2でBCPDを用いた空間位置合わせシステムについて

f:id:stopengin0012:20210421143158p:plain

ホロラボ 斎藤です。今回、R&Dチームの取り組みの一つとして、BCPDを用いた空間位置合わせに関する調査を行ってみました。

1. はじめに

AR/MRにおいて、コンテンツを含む仮想空間と現実空間を合わせることはとても重要です。 それぞれの空間の位置、回転、およびスケールを合わせることによって、ユーザーに違和感なく現実への情報の重ね合わせを行うことができます。

そこで、今回はBCPD(Bayesian Coherent Point Drift)という点群位置合わせの手法の一つを用いて、HoloLens 2で空間位置合わせを行ってみました。

まずはデモ動画をご覧になってください。

www.youtube.com

2. 空間位置合わせとは

特にHoloLens2では、仮想空間の座標系の原点位置および回転は、アプリ起動時の端末位置および回転となります。 しかし、このままだと現実との空間座標系が合っていないため、仮想空間を現実に重畳できません。 したがって、何らかの方法で仮想空間と現実空間の位置合わせを行う必要があります。

今回のデモでいうと、仮想的な家具を示すオブジェクト(水色がベッド、ピンク色がたんす)を、空間位置合わせを使って、 現実の家具の位置へ重畳することにあたります。仮想的な家具を示すオブジェクトの初期配置は起動位置によって違うため、 起動後に仮想空間と現実空間の位置回転の差分を計算し、仮想空間の補正をしていきます。

f:id:stopengin0012:20210421104348p:plain
デモにおける空間位置合わせのイメージ

仮想空間と現実空間の位置合わせのために、よく使われる手法としては、画像マーカーを用いる方法が挙げられます。 また既存サービスとしては、Microsoft社のAzure Spatial Anchors *1 や、Azure Object Anchors *2、およびPTC社のVuforia *3 などが挙げられます。 現状 HoloLens 2 以外では、Immersal \ *4 も注目されています。 ホロラボにおいても、位置合わせに関する研究開発を行っています。

3. BCPD(Bayesian Coherent Point Drift)とは

点群位置合わせ手法の一つで、点と点の対応関係を効率よく導くことができる手法です。基本的には非剛体の点群位置合わせ手法ではありますが、パラメータを調整して剛体位置合わせに用いることもできます。 github.com

今回は、BCPDを剛体位置合わせ用のパラメータを指定することで、あらかじめ取得した部屋の点群と、位置合わせしたいタイミングでの部屋の点群の間のRST行列を得ます。 ここでのRST行列とは、回転(Rotate)・拡大縮小(Scale)・平行移動(Translate)を含む4行4列の行列を指します。 下記図は、あらかじめ取得した部屋の点群(青色)と、位置合わせしたいタイミングでの部屋の点群(緑色)、変換した結果の点群(水色)の関係を示しています。

f:id:stopengin0012:20210330140122g:plain
BCPDを使った部屋の点群位置合わせ

4. システム概要

システム概要図を以下に示します。

f:id:stopengin0012:20210330142732p:plain
システム概要図

まず、今回あらかじめ部屋の点群(ターゲット点群)を取得しておきます。

①まず、位置合わせしたいタイミングでの部屋の点群データ(インプット点群)を取得します。 取得にはMRTKのサービスロケータから取得できるSpatial Mapを使用しています。 (Spatial Understandingも使えると思います。)

②次に取得した部屋の点群データ(インプット点群)をローカルネットワークを介してPCへ送信します。 今回BCPDの計算自体は計算用のPCを用意して、ローカルネットワークを介してやり取りをしています。 ただ、手法としてはHoloLens 2上で計算することもできるはずです。

③インプット点群と、あらかじめ取得しておいたターゲット点群を使ってBCPDの計算を行い、二つの点群の間のRST行列を取得します。

④取得した二つの点群の間のRST行列をHoloLens2端末へ送信します。

⑤二つの点群の間のRST行列を用いて、空間をの位置合わせを行います。

5. おわりに

今回はHoloLens 2における、BCPD(Bayesian Coherent Point Drift)という点群位置合わせの手法の一つを用いた空間位置合わせシステムを開発しました。 現在、2章で紹介した他の手法と比較して、精度、計算の速さ、利用点群の組み合わせ(例えば、全部屋をターゲットとして、インプットを一部屋にした場合はどうなるか?)についても調査を進めています。 また、点群取得デバイスが違う場合(例えば、iPadのLidarで取得した点群をターゲットにした場合)ではどうすればよいか?などについても研究を進めていきたいと考えています。

*1 Azure Spatial Anchors :

https://azure.microsoft.com/ja-jp/services/spatial-anchors/

*2 Azure Object Anchors :

https://azure.microsoft.com/ja-jp/services/object-anchors/

*3 Vuforia :

https://developer.vuforia.com/

*4 Immersal : https://immersal.com/

「Microsoft Ignite Recap Community Day」に登壇しました

2021/03/24(水)に開催された「Microsoft Ignite Recap Community Day」に登壇しました。

申し込みが1000人を超え、YouTube視聴者も常時400人を超えてる状態でした。

Microsoft MVPの宮浦さん、堀尾さんと、3月上旬に発表されたMicrosoft Mesh, Azure Remote Rendering, Azure Object Anchorsについてのキャッチアップです。

当日は時間が短めだったことや、スライドや音声にトラブルがあったりだったので、近々再演したいねと3人で話してます。

msdevjp.connpass.com

スライド

Microsoft Mesh @ 中村

www.slideshare.net

Azure Remote Rendering @ 堀尾さん

speakerdeck.com

Azure Object Anchors @ 宮浦さん

www.slideshare.net

ホロラボがEY Innovative Startup 2021受賞!

f:id:takesenit:20210323000026j:plain
2017年と2021年

EY新日本有限責任監査法人さま(以下EY)が「今後著しい成長が期待される企業」を表彰する“EY Innovative Startup 2021”にホロラボを選出頂きました!

24houritpeople.com

受賞そのものについてはホロラボからもPR TIMESにプレスリリースを出してますのでそちらをご参照頂けますと幸いです。

prtimes.jp


今回は何が嬉しかったっていろいろとあるのですがw、一つはEYさんが運営する賞を受賞出来たこと。設立してから4年を経て、想定外に成長をし続けるホロラボとしてちょうど会社の体制を整えて行っているところでした。

そこで今後重要となるのが監査法人さんとのお付き合い。いろいろと調査を進めると「監査難民」という言葉をよく耳にするようになりました。

www.nikkei.com

IPOを目指すスタートアップにとっては、適正に企業が経営できているかどうかを複数年に渡って外部の目線でチェックしてくれる監査法人とのお付き合いが極めて重要になる模様。一方で監査法人においても監査の厳格化や人手不足などの問題があり、結果として監査法人との契約が出来ずに路頭に迷うスタートアップが増えて来ているそうです。これ、この記事だけでなくいろいろなところで耳にします。

日経の記事から引用をしつつ今回の受賞のポイントを考えると、一つは、EYさんがこのビッグ4と言われる一角を担っているという実績の面。

IPO監査はかつてEY新日本監査法人、監査法人トーマツ、あずさ監査法人、PwCあらた監査法人のビッグ4が大半を担っていた。

もう一つは、このInnovative Startupなどを毎年運営してることも含めてIPO監査に力を入れているという姿勢の点。

EY新日本は7月、IPO監査の人材認定制度を始めた。21年6月までに約4100人いる会計士のうち1000人の認定を目指す。

これら2つの側面でこのタイミングでの受賞の意味が大きかったと感じてます。もちろん受賞をしたからと言って何が約束されたわけではないですが、ある意味での「お墨付き」を頂いたとは考えてもいいのかも。あとは、自分たがやることをやるだけ。


もう一つ嬉しかったことは、この受賞に際して共同創業者全員で集まっての写真撮影が出来たことw

2017年の立ち上げ時に、共同創業者5人全員お揃いで元祖HoloLensを着用してたくさん写真を撮りました。

prtimes.jp

f:id:takesenit:20210323012518j:plain
2017年1月ホロラボ設立時の写真

みんな、写真とか撮られ慣れな過ぎてよくわからないポーズをしてますねw でも、何となく素顔よりもHoloLensを着用してた方が被写体として平常心?に近づけた気がしたのは覚えてますw  当時の写真はCEO中村さんのツテで集合写真家のMasahiro Takechさんに撮影してもらったものです。当時はオフィスもなかったので、ご懇意にして頂いていた紀尾井町Yahoo! LODGEさんにお願いして撮影させてもらったりも良い思い出w


その後、会社は大きく成長して、現時点でスタッフ30名を超える規模で大好きなMixed Realityの世界に取り組むことになりました。目まぐるしく環境が変わるその過程で、5人の共同創業者が顔をそろえたことは片手で足りるぐらいな回数だった気がします。

そんな中で受賞が決まって、発表用ウェブサイト制作の一環として「写真撮影を通してチームの結束力を高めましょう」といったことを事務局からご提案頂きました。久しぶりにみんなで集まるので意味なくわくわくして、どうしようか考えて武仙から提案。

「みんなで、別々な今を代表するXRデバイスを持って行こう。」

f:id:takesenit:20210323014419j:plain
2021年に、今の時代を代表するXRデバイスたちを着用して

当日の撮影はあっという間でしたが、結果として取れた写真がこちら。HoloLens 2、Magic Leap 1、Nreal Light、Oculus Quest 2と、今を代表するXRデバイスを思い思いに着用。受賞した他のスタートアップの皆さんの堂々とした写真と比較するとだいぶ違った雰囲気になったかもですが、きっとこれがホロラボっぽいんだと思いますw

そして、メイキングじゃないですが撮影の風景がこちら。

f:id:takesenit:20210323021127j:plain ピンで撮影する代表っぽい中村さん。だいぶ貫禄出てきた?w

f:id:takesenit:20210323021151j:plain 「変顔で」って言ったら、載ってくれたのは前本さんだけだったりw


2017年に日本にHoloLensが上陸して、本当に色々な人に体験してもらいました。Mixed Realityという技術をきっかけに、コミュニティや仕事を通してたくさんの同志にも恵まれて、激しくも楽しい事業が順調に成長しました。

当時は視野角だったりコンピューティングパワーだったり技術的に出来ないこともありましたが、2021年を迎えた今は第二世代とも言うべきパワフルになったdeviceが、しかも複数のプラットフォームが選択可能になった、、、そんなことを写真で伝えられたらって考えていましたが、結局分かる人にしか分からないマニアックな試みになっちゃったかもですw

ただ、確実に市場は広がって来てるし、その押し寄せる波は日ごとに大きくなってるのを感じます。ぜひ、ご覧いただいている皆さんとご一緒に楽しみながら市場を盛り上げて行きたいと思います。

改めまして、今回EY Innovative Startup 2021を受賞した「NEXT GAME CHANGER」の1社としてご紹介を頂いてるホロラボの受賞ページもぜひご覧いただけると嬉しいです。 24houritpeople.com

武仙