ブログ@HoloLabInc

株式会社ホロラボのブログです

「スキルアップ週間」という名の「モブワーク」をやってみました

中村です。

今週はメンバー間の技術共有、4月になって受託開発案件が落ち着いたこと、連休前の気分転換などから「スキルアップ週間」と称して「モブワーク」のイベントをやってみました。

speakerdeck.com

目的は基本スキル向上と共有(実践練習の場)とし、お題に対する感性を目的としない、さまざまな技術やツール、日ごろ勉強している内容の実践の場と定義しました。完成を目的としないことで、実験のしやすさや、注力するポイントを変えるなど、チームの興味に柔軟に対応できるようにしています。このあたりは Coderetreat の思想を取り入れています。

参加メンバーには1日~3日の時間をとってもらい、チーム編成、アプリ開発(2時間 x 3スプリント)を行いました。毎日作るものは同じでゼロから作るようにしています。これはアプリを作るうえでよくある「作り直したい」を仕組みとしていれているのと、同じことを繰り返すことで内部の洗練を目的にしています。また、毎日最初から始めることで、1日だけの参加者にも入りやすいようにしています。

「毎日ゼロから作る」、「チームを毎日変える」、「全チーム、全日同じテーマで作る」あたりは変数なので、いろいろ変えてみてもおもしろそうです。

f:id:kaorun55:20210430165340p:plain

f:id:kaorun55:20210430165347p:plain

初日は作ることにフォーカスをするチームが多く「まずはやってみる」から始まり、2日目は設計・テストへの興味、3日はUI/UXへの取り組みと、同じことを繰り返すためより全体を見通して考えられるようになったように感じました。

ホロラボも30人を超えてきて、フルリモートワークということでメンバー間同士のつながりも意識的にしないといけないということでの今回の取り組み、参加メンバーからは「普段は話さない人と話せた」、「知識の共有ができた」、「個々人で考えてること、意識の疎通は難しい」などのコメントがもらえたので、今後も継続してやってみようと思います。

(オンラインだと、わいわいやってる様子の写真が取れないので、楽しさを伝えきれないのが悩ましいですw)

HoloLens 2でBCPDを用いた空間位置合わせシステムについて

f:id:stopengin0012:20210421143158p:plain

ホロラボ 斎藤です。今回、R&Dチームの取り組みの一つとして、BCPDを用いた空間位置合わせに関する調査を行ってみました。

1. はじめに

AR/MRにおいて、コンテンツを含む仮想空間と現実空間を合わせることはとても重要です。 それぞれの空間の位置、回転、およびスケールを合わせることによって、ユーザーに違和感なく現実への情報の重ね合わせを行うことができます。

そこで、今回はBCPD(Bayesian Coherent Point Drift)という点群位置合わせの手法の一つを用いて、HoloLens 2で空間位置合わせを行ってみました。

まずはデモ動画をご覧になってください。

www.youtube.com

2. 空間位置合わせとは

特にHoloLens2では、仮想空間の座標系の原点位置および回転は、アプリ起動時の端末位置および回転となります。 しかし、このままだと現実との空間座標系が合っていないため、仮想空間を現実に重畳できません。 したがって、何らかの方法で仮想空間と現実空間の位置合わせを行う必要があります。

今回のデモでいうと、仮想的な家具を示すオブジェクト(水色がベッド、ピンク色がたんす)を、空間位置合わせを使って、 現実の家具の位置へ重畳することにあたります。仮想的な家具を示すオブジェクトの初期配置は起動位置によって違うため、 起動後に仮想空間と現実空間の位置回転の差分を計算し、仮想空間の補正をしていきます。

f:id:stopengin0012:20210421104348p:plain
デモにおける空間位置合わせのイメージ

仮想空間と現実空間の位置合わせのために、よく使われる手法としては、画像マーカーを用いる方法が挙げられます。 また既存サービスとしては、Microsoft社のAzure Spatial Anchors *1 や、Azure Object Anchors *2、およびPTC社のVuforia *3 などが挙げられます。 現状 HoloLens 2 以外では、Immersal \ *4 も注目されています。 ホロラボにおいても、位置合わせに関する研究開発を行っています。

3. BCPD(Bayesian Coherent Point Drift)とは

点群位置合わせ手法の一つで、点と点の対応関係を効率よく導くことができる手法です。基本的には非剛体の点群位置合わせ手法ではありますが、パラメータを調整して剛体位置合わせに用いることもできます。 github.com

今回は、BCPDを剛体位置合わせ用のパラメータを指定することで、あらかじめ取得した部屋の点群と、位置合わせしたいタイミングでの部屋の点群の間のRST行列を得ます。 ここでのRST行列とは、回転(Rotate)・拡大縮小(Scale)・平行移動(Translate)を含む4行4列の行列を指します。 下記図は、あらかじめ取得した部屋の点群(青色)と、位置合わせしたいタイミングでの部屋の点群(緑色)、変換した結果の点群(水色)の関係を示しています。

f:id:stopengin0012:20210330140122g:plain
BCPDを使った部屋の点群位置合わせ

4. システム概要

システム概要図を以下に示します。

f:id:stopengin0012:20210330142732p:plain
システム概要図

まず、今回あらかじめ部屋の点群(ターゲット点群)を取得しておきます。

①まず、位置合わせしたいタイミングでの部屋の点群データ(インプット点群)を取得します。 取得にはMRTKのサービスロケータから取得できるSpatial Mapを使用しています。 (Spatial Understandingも使えると思います。)

②次に取得した部屋の点群データ(インプット点群)をローカルネットワークを介してPCへ送信します。 今回BCPDの計算自体は計算用のPCを用意して、ローカルネットワークを介してやり取りをしています。 ただ、手法としてはHoloLens 2上で計算することもできるはずです。

③インプット点群と、あらかじめ取得しておいたターゲット点群を使ってBCPDの計算を行い、二つの点群の間のRST行列を取得します。

④取得した二つの点群の間のRST行列をHoloLens2端末へ送信します。

⑤二つの点群の間のRST行列を用いて、空間をの位置合わせを行います。

5. おわりに

今回はHoloLens 2における、BCPD(Bayesian Coherent Point Drift)という点群位置合わせの手法の一つを用いた空間位置合わせシステムを開発しました。 現在、2章で紹介した他の手法と比較して、精度、計算の速さ、利用点群の組み合わせ(例えば、全部屋をターゲットとして、インプットを一部屋にした場合はどうなるか?)についても調査を進めています。 また、点群取得デバイスが違う場合(例えば、iPadのLidarで取得した点群をターゲットにした場合)ではどうすればよいか?などについても研究を進めていきたいと考えています。

*1 Azure Spatial Anchors :

https://azure.microsoft.com/ja-jp/services/spatial-anchors/

*2 Azure Object Anchors :

https://azure.microsoft.com/ja-jp/services/object-anchors/

*3 Vuforia :

https://developer.vuforia.com/

*4 Immersal : https://immersal.com/

「Microsoft Ignite Recap Community Day」に登壇しました

2021/03/24(水)に開催された「Microsoft Ignite Recap Community Day」に登壇しました。

申し込みが1000人を超え、YouTube視聴者も常時400人を超えてる状態でした。

Microsoft MVPの宮浦さん、堀尾さんと、3月上旬に発表されたMicrosoft Mesh, Azure Remote Rendering, Azure Object Anchorsについてのキャッチアップです。

当日は時間が短めだったことや、スライドや音声にトラブルがあったりだったので、近々再演したいねと3人で話してます。

msdevjp.connpass.com

スライド

Microsoft Mesh @ 中村

www.slideshare.net

Azure Remote Rendering @ 堀尾さん

speakerdeck.com

Azure Object Anchors @ 宮浦さん

www.slideshare.net

ホロラボがEY Innovative Startup 2021受賞!

f:id:takesenit:20210323000026j:plain
2017年と2021年

EY新日本有限責任監査法人さま(以下EY)が「今後著しい成長が期待される企業」を表彰する“EY Innovative Startup 2021”にホロラボを選出頂きました!

24houritpeople.com

受賞そのものについてはホロラボからもPR TIMESにプレスリリースを出してますのでそちらをご参照頂けますと幸いです。

prtimes.jp


今回は何が嬉しかったっていろいろとあるのですがw、一つはEYさんが運営する賞を受賞出来たこと。設立してから4年を経て、想定外に成長をし続けるホロラボとしてちょうど会社の体制を整えて行っているところでした。

そこで今後重要となるのが監査法人さんとのお付き合い。いろいろと調査を進めると「監査難民」という言葉をよく耳にするようになりました。

www.nikkei.com

IPOを目指すスタートアップにとっては、適正に企業が経営できているかどうかを複数年に渡って外部の目線でチェックしてくれる監査法人とのお付き合いが極めて重要になる模様。一方で監査法人においても監査の厳格化や人手不足などの問題があり、結果として監査法人との契約が出来ずに路頭に迷うスタートアップが増えて来ているそうです。これ、この記事だけでなくいろいろなところで耳にします。

日経の記事から引用をしつつ今回の受賞のポイントを考えると、一つは、EYさんがこのビッグ4と言われる一角を担っているという実績の面。

IPO監査はかつてEY新日本監査法人、監査法人トーマツ、あずさ監査法人、PwCあらた監査法人のビッグ4が大半を担っていた。

もう一つは、このInnovative Startupなどを毎年運営してることも含めてIPO監査に力を入れているという姿勢の点。

EY新日本は7月、IPO監査の人材認定制度を始めた。21年6月までに約4100人いる会計士のうち1000人の認定を目指す。

これら2つの側面でこのタイミングでの受賞の意味が大きかったと感じてます。もちろん受賞をしたからと言って何が約束されたわけではないですが、ある意味での「お墨付き」を頂いたとは考えてもいいのかも。あとは、自分たがやることをやるだけ。


もう一つ嬉しかったことは、この受賞に際して共同創業者全員で集まっての写真撮影が出来たことw

2017年の立ち上げ時に、共同創業者5人全員お揃いで元祖HoloLensを着用してたくさん写真を撮りました。

prtimes.jp

f:id:takesenit:20210323012518j:plain
2017年1月ホロラボ設立時の写真

みんな、写真とか撮られ慣れな過ぎてよくわからないポーズをしてますねw でも、何となく素顔よりもHoloLensを着用してた方が被写体として平常心?に近づけた気がしたのは覚えてますw  当時の写真はCEO中村さんのツテで集合写真家のMasahiro Takechさんに撮影してもらったものです。当時はオフィスもなかったので、ご懇意にして頂いていた紀尾井町Yahoo! LODGEさんにお願いして撮影させてもらったりも良い思い出w


その後、会社は大きく成長して、現時点でスタッフ30名を超える規模で大好きなMixed Realityの世界に取り組むことになりました。目まぐるしく環境が変わるその過程で、5人の共同創業者が顔をそろえたことは片手で足りるぐらいな回数だった気がします。

そんな中で受賞が決まって、発表用ウェブサイト制作の一環として「写真撮影を通してチームの結束力を高めましょう」といったことを事務局からご提案頂きました。久しぶりにみんなで集まるので意味なくわくわくして、どうしようか考えて武仙から提案。

「みんなで、別々な今を代表するXRデバイスを持って行こう。」

f:id:takesenit:20210323014419j:plain
2021年に、今の時代を代表するXRデバイスたちを着用して

当日の撮影はあっという間でしたが、結果として取れた写真がこちら。HoloLens 2、Magic Leap 1、Nreal Light、Oculus Quest 2と、今を代表するXRデバイスを思い思いに着用。受賞した他のスタートアップの皆さんの堂々とした写真と比較するとだいぶ違った雰囲気になったかもですが、きっとこれがホロラボっぽいんだと思いますw

そして、メイキングじゃないですが撮影の風景がこちら。

f:id:takesenit:20210323021127j:plain ピンで撮影する代表っぽい中村さん。だいぶ貫禄出てきた?w

f:id:takesenit:20210323021151j:plain 「変顔で」って言ったら、載ってくれたのは前本さんだけだったりw


2017年に日本にHoloLensが上陸して、本当に色々な人に体験してもらいました。Mixed Realityという技術をきっかけに、コミュニティや仕事を通してたくさんの同志にも恵まれて、激しくも楽しい事業が順調に成長しました。

当時は視野角だったりコンピューティングパワーだったり技術的に出来ないこともありましたが、2021年を迎えた今は第二世代とも言うべきパワフルになったdeviceが、しかも複数のプラットフォームが選択可能になった、、、そんなことを写真で伝えられたらって考えていましたが、結局分かる人にしか分からないマニアックな試みになっちゃったかもですw

ただ、確実に市場は広がって来てるし、その押し寄せる波は日ごとに大きくなってるのを感じます。ぜひ、ご覧いただいている皆さんとご一緒に楽しみながら市場を盛り上げて行きたいと思います。

改めまして、今回EY Innovative Startup 2021を受賞した「NEXT GAME CHANGER」の1社としてご紹介を頂いてるホロラボの受賞ページもぜひご覧いただけると嬉しいです。 24houritpeople.com

武仙

docomo Open House 2021展示技術支援~「ARクラウドで実現するエンタメ拡張された街」

しばらくぶりにホロラボブログで執筆します、武仙です。

 ちょっと時間が経ちましたが、2021/2/4~2/7の3日間で開催された株式会社NTTドコモ様(以下、ドコモ)の、年に一度のテクノロジー展示イベント「docomo Open House 2021」での展示開発についてお送りします。

f:id:takesenit:20210308144529j:plain

 昨年2020年開催時はリアル会場での開催で、Magic Leap 1やAceReal One、一部でHoloLensなども使ったXR系展示が大量に行われてて、もう何か武仙のためのお祭りじゃないかと勘違いするぐらいの雰囲気で圧倒されたのを思い出しました。 

ホロラボではいくつか展示開発をご一緒させて頂いていましたが、大きな反響を頂いたのがこの「ARクラウドで実現する未来の生活スタイル」。

ARクラウドで実現する未来の生活スタイル (docomo Open House 2020展示)

f:id:takesenit:20210308011803p:plain
Rクラウドで実現する未来の生活スタイル (docomo Open House 2020展示)
https://docomo-openhouse.jp/2020/exhibition/panels/B-02.pdf  

元々ドコモ様が開発していたARクラウドプラットフォームのユースケース提案となるコンテンツを企画からご一緒して開発支援を担当させて頂きました。  

反響が色々な形で大きくて、会場にもどこかのMeetupで見たような面々とお会い出来たりw

なんと当時のMagic Leap社CEO Rony氏がブースに来て体験してくれて、しかもその後の基調講演で「これこそ私がやりたかったこと」的な言及をしてくれてたりとか。

あと個人的に嬉しかったのが、清水亮さんが体験してくれてこんな問題提起を含んだブログにまとめてくれていたり。

その直後に新型コロナが蔓延して、世界の風景は一変。

 ヘッドマウント系を被ってもらうのに消毒を徹底したり、そもそも予定していた展示系プロジェクトが無くなったり、、、そしてオリンピックも延期。。。

  そんな中でも、ドコモ様からはその後のプラットフォーム開発を進める上で、前回展示のようなサンプルコンテンツをワンオフで作るのではなく、オーサリングツールを作ってよりたくさんの人にARクラウドを柔軟に活用してもらうための基盤開発の部分のご支援を担当させてもらえることに。

  当初は概念設計で、ホロラボ社内では2020年の展示から担当をしていた林さんとヒノボルさんの2名がキャッチボールしながらあれこれと密に会話しつつどんな機能が必要となるかを詰めて行きました。

ある程度設計が見えた段階からは、開発規模も大きくなって徐々に開発メンバーが増員。オーサリングツール動作の目途が立った頃からはサンプルコンテンツとオーサリングツール開発が平行することに。

今度はコンテンツ企画とコンテンツ用各種マテリアルの制作チームを編成。社内には3Dコンテンツ制作が出来るメンバーがそれほど多くはないため、ゲーム用3Dアセット制作で実績のあるメルポット様にお願いしてチームを編成頂きました。

f:id:takesenit:20210308023559p:plain
3Dアセット制作でお世話になったMELPOT様ウェブサイト
https://www.melpot.co.jp/

最終的にホロラボ担当パートのみでも20名を超えるチームとなり、完成したのは、ドコモ様の本社のある赤坂の街を舞台に展開されるCity ScaleのARコンテンツ。

 「ARクラウド」や「オーサリングツール」など、分かり辛い技術を分かりやすく説明するためのビデオも制作して、迎えた2月頭にめでたくdocomo Open House 2021でのお披露目に至りました。

AR関連技術がめざましく進歩して、以前はコンセプトでしかなかった体験がある程度実現可能になってきました。docomo Open House 2021で公開された動画をご覧いただいた方は「これ、映像にポストプロセスしたのではなくて、ARコンテンツとして体験ができるんです!」といった雰囲気をわかっていただけたのではないかなと思います。

最後に、貴重かつエキサイティングなプロジェクトに携わる機会を与えて頂いたドコモのチームの皆さん、ご一緒に企画・調査・設計・開発・コンテンツ制作と多岐に協力頂いているパートナー企業の担当の皆さん、ホロラボ内で担当してるチームメンバーの皆さんにお礼を申し上げます。

引き続きARクラウドで実現する街・人とデジタルコンテンツ・コンピューターとの新しい関係性、可能性をどんどん具体化していきましょう!

docomo Open House 2021 Staffs of HoloLab Part

Direction

General Direction - Yu Hata (HoloLab Inc. / Designium) https://twitter.com/yhworld

Assistant/Legal - Takesen (HoloLab Inc.) https://twitter.com/takesenit

Technical Direction - Tomoki Hayashi (HoloLab Inc.) https://twitter.com/keshin_sky

Technical Direction - Hinoboru - Nisho Matsushita (HoloLab Inc.) https://twitter.com/liketableteninu

 

Development

Authoring Tool - Tomonori Mizutani (Designium) https://twitter.com/mizutanikirin

Authoring Tool - Gerald Gmainer (Designium)

Authoring Tool - Yusuke Sakuma (Designium)

CMS/RT Server - Tatsuhiko Hayashi (Designium)

Client Viewer - Tomoki Hayashi (HoloLab Inc.) https://twitter.com/keshin_sky

Client Viewer - Hinoboru - Nisho Matsushita (HoloLab Inc.) https://twitter.com/liketableteninu

Client Viewer - Fumo Yoshida (HoloLab Inc.) https://twitter.com/fumobox

Client Viewer - Keizo Nagamine (HoloLab Inc.) https://twitter.com/KzoNag

 

Contents Production

Concept Making - Manabu Hasegawa (Designium) https://twitter.com/hassegawa

Produce Tomoyo Hirayama (HoloLab Inc.) https://twitter.com/Riserva79

Programming Mitsuki Bando (Mark-on) https://twitter.com/_udonba

Voice Koromo Aida

3D Modeling : Project Manager / Director - Toshio Yasuhara (MELPOT Inc.) https://www.melpot.co.jp/

3D Modeling : Art Director - Teppei Mizumoto (MELPOT Inc.)

3D Artisrt - Momo Igarashi (MELPOT Inc.)

3D Artisrt - Shinnosuke Kotani (MELPOT Inc.)

3D Modeling : Technical Adviser - Ryosuke Nakai (MELPOT Inc.)

 

Videography

Video Editing - Naoyuki Hirasawa (Designium) https://twitter.com/eatora22

App Developing - Matt Hudson (Designium) https://twitter.com/mechpil0t