ブログ@HoloLabInc

株式会社ホロラボのブログです

ヴィーナスフォートを舞台とした大規模ARクラウド実証実験がパワーアップして、遂に一般公開！

Magic Leap LiDAR プレスリリース 開発/試作事例

ホロラボ武仙です！本日プレスリリースした、お台場ヴィーナスフォートでの「XR空間」についての実証実験について。

prtimes.jp

f:id:takesenit:20210707092547j:plain
VR体験用ヴィーナスフォート高精細3DスキャンCG

同件は2021年3月にNTTドコモさま、森ビルさまにて、お台場ヴィーナスフォートの一部を舞台とした広域ARクラウドコンテンツの実証実験が実施され、ホロラボも開発協力との位置づけで参加させて頂いていたものの続編です。

prtimes.jp

3月時点でいくつもの技術的だったり企画面だったりのチャレンジがあったのですが実証実験自体は成功裏に実現。 約3,100平米(ホロラボ調べ)の広いエリアを使ったfree roam型ARクラウドコンテンツが実現しました。 ※歩きスマホはダメです！

関係者限定での実証実験だった関係で、当時から「体験したい！」と言った声を多数頂いていたのですが、今回この7月にようやくお披露目が出来ることとなりました！ ぜひお時間の都合をつけてお台場ヴィーナスフォートでご体験を頂けると嬉しいです！

今回の実証実験についてはすでにNTTドコモさま、森ビルさまからそれぞれでプレスリリースをご発行頂いてますので、内容詳細についてはそちらをご参照ください。 色々とパワーアップしてます！

NTTドコモ様トピックス

f:id:takesenit:20210707014811p:plain
https://www.nttdocomo.co.jp/binary/pdf/info/news_release/topics_210706_00.pdf

森ビル様ニュースリリース

www.mori.co.jp

3月と今回7月、二つの実証実験を通して、実にたくさんの人がホロラボメンバーとして開発や制作に参加してくれました。 以下がホロラボメンバーのスタッフクレジットです。

スタッフクレジット

Direction

General Direction : Yu Hata - HoloLab Inc. / TheDesignium Inc. Inc. https://twitter.com/yhworld
Assistant/Legal : Takesen - HoloLab Inc. https://twitter.com/takesenit
General Contents Produce : Tomoyo Hirayama - HoloLab Inc. https://twitter.com/Riserva79
Tecnnical Direction / Contents Authoring : Keizo Nagamine - HoloLab Inc. https://twitter.com/KzoNag
Technical Direction : Tomoki Hayashi - HoloLab Inc. https://twitter.com/keshin_sky
Technical Direction : Hinoboru (Nisho Matsushita) - HoloLab Inc. https://twitter.com/liketableteninu

Development

Authoring Tool : Tomonori Mizutani - TheDesignium Inc. https://twitter.com/mizutanikirin
Authoring Tool : Gerald Gmainer - TheDesignium Inc.
Authoring Tool : Yusuke Sakuma - TheDesignium Inc.
CMS/RT Server : Tatsuhiko Hayashi - TheDesignium Inc.
Client Viewer / IoT Server communication : Tomoki Hayashi - HoloLab Inc. https://twitter.com/keshin_sky
Client Viewer : Hinoboru (Nisho Matsushita) - HoloLab Inc. https://twitter.com/liketableteninu
Client Viewer / IoT Visualize : Fumo Yoshida - HoloLab Inc. https://twitter.com/fumobox
Client Viewer : Keizo Nagamine - HoloLab Inc. https://twitter.com/KzoNag

Contents Production

Planning : Tomoyo Hirayama - HoloLab Inc. https://twitter.com/Riserva79
Produce & Creative Direction : Tomoyo Hirayama - HoloLab Inc. https://twitter.com/Riserva79
Programming : Mitsuki Bando - Mark-On https://twitter.com/_udonba
Voice Actoress : Koromo Aida - freelance
Voice Actor : Tomisaburou Horikoshi - freelance
UI design : Tomoyo Hirayama - HoloLab Inc. https://twitter.com/Riserva79
Special Effects : Mao Wu - TheDesignium Inc.
CG Advisory　:Yoshitomo Iwamoto - HoloLab Inc. https://twitter.com/yoshipon13
VR world CG Post Production : Ryo Fujiwara - HoloLab Inc. https://twitter.com/lileaLab

CG Producition : Character part by PICONA team

CGProducer&Art Director : Ken Yoshida - PICONA ,Inc. https://picona.jp
3D Director : Makoto Sato - PICONA ,Inc.
Character Design : Sayaka Shimada - (RED HOUSE Co., Ltd.)
- 3D Modeling
Modeling supervisor : Sachiko Daigoho - (Misatori Inc.)
3D Lead Modeler : Daigo Taketomi - PICONA ,Inc.
3D Modeler : Ki Chin - PICONA ,Inc.
- 3D Animation
3D Lead Animator : Daigo Taketomi - PICONA ,Inc.
3D Animator : Keita Suzuki - PICONA ,Inc.
3D Animator : Deepak Adhav - PICONA ,Inc.
- Assistant
Production assistant : Mayumi Enomoto - PICONA ,Inc.

CG Production : Advertisment part by MELPOT team

3D Modeling Project Manager / Director : Toshio Yasuhara - MELPOT Inc. https://www.melpot.co.jp/
3D Modeling Art Director : Teppei Mizumoto - MELPOT Inc.
3D Artisrt Momo Igarashi - MELPOT Inc.
3D Artisrt Shinnosuke Kotani - MELPOT Inc.
3D Modeling Technical Adviser : Ryosuke Nakai - MELPOT Inc.

Videography

Video Editing : Naoyuki Hirasawa - TheDesignium Inc. https://twitter.com/eatora22
App Developing : Matt Hudson - TheDesignium Inc. https://twitter.com/mechpil0t

ｰｰｰ

今回の実証実験で、たくさんの方にご体験を頂いてフィードバックを活かしたいと思います。 皆さんのご来場をお待ちしています！

実証実験～一般公開概要

日程 2021 年 7 月 10 日（土）～7 月 11 日（日）、7 月 17 日（土）～7 月 18 日（日）
各日 午前 11 時 ～ 午後 5 時
※感染症状況等を踏まえ、一般体験を中止とさせていただく場合がございます。
実施場所 東京・お台場 ヴィーナスフォート 2F フロア(Venus GRAND)内 噴水広場 ～ 教会広場
参加方法 ヴィーナスフォート 2F 噴水広場付近に設置した受付にて、開催日当日先着にて参加受付
参加費用 無料
使用するデバイス　受付にてタブレット端末をお貸し出し
※Magic Leap 1 の体験はできません。ご了承ください。

HoloLens 2 の Microsoft Mesh アプリ更新 2021/05/17

HoloLens 2 Microsoft Mesh N

2021/05/17 にHoloLens 2 の Microsoft Mesh アプリが更新されました。

リリースノートはこちら

docs.microsoft.com

変更点は下記です。

  • 以前にアクセスしたスペースが [スペース] タブに保持されるようになりました。
  • OneDriveのMyContent フォルダー内のアイテムにサムネイル画像が表示されるようになりました。
  • Azure Remote Renderingを使用して、大規模で複雑なホログラムをクラウドから読み込むことができます。
  • HoloLensのローカルドライブ または OneDrive から現在のスペースに直接ファイルをアップロードできるようになりました。

Azure Remote Rendering と ローカルファイルピッカー

Azure Remote Rendering (ARR) でのモデル表示 と ローカルファイルピッカー(HoloLensのローカルディスクからのアップロード)が可能になりました。

これらは設定の「Experimental Features」から有効にできます。

f:id:kaorun55:20210607170859j:plain

f:id:kaorun55:20210604120306j:plain

ARRはContentメニューの左側タブから、ローカルファイルは右下から選択可能です。

f:id:kaorun55:20210607171411j:plain

ARR、ローカルファイルともにスペースでモデルおよび操作が共有されます。

対応ローカルファイルファイル形式の追加

ローカルファイルについて、今回の更新か、リリースノートを見ると4月の更新かで、画像ファイルへの対応が行われています(今まではGLB形式のの3Dモデルのみ)

画像ファイルは JPG,PNG,TIFF,GIF に対応しています(GIFは静止画として表示されます)

f:id:kaorun55:20210604120324j:plain

Azure Remote Rendering(ARR) の利用について

Meshアプリ内でのARRは、Meshがプレビュー期間中は無料のようです(個別にARRを利用する場合は有料)。

f:id:kaorun55:20210604120348j:plain

ARRを有効にするか、デフォルトのエンジンを表示するかのタイミングで OneDrriveの MyContent フォルダ ( OneDrive\アプリ\Microsoft Mesh App (Preview) 以下) に remote_models.json というファイルが生成されます。ここにARRで使用するモデルの名前とモデルファイル(arrAssetのSAS)を設定します

f:id:kaorun55:20210607172939p:plain

arrAssetのSASは変換済みARRアセットのBlobストレージの該当ファイルを選択し作成します。

f:id:kaorun55:20210607173207p:plain

作成したSAS URLをjsonのsasUriに設定します。

f:id:kaorun55:20210607173114p:plain

設定後にMeshアプリを起動すると、ARRタブに設定したモデルが表示、選択されます。

f:id:kaorun55:20210607172606p:plain

ARR用モデルの作成は「Azure Remote Rendering Asset Tool(ARRT)」を使用すると便利です。

blog.hololab.co.jp

HoloLens 2の最新OSバージョンのWindows Holographic version 21H1がリリースされました

HoloLens 2 N

f:id:kaorun55:20210607144500j:plain

HoloLens 2の最新OSバージョンのWindows Holographic version 20H2がリリースされました。

バージョン番号は OSバージョン 21H1 ( ビルド 20346.1002 ) になっています。

Windows Updateにより更新可能です。

リリースノートはこちら。

英語

docs.microsoft.com

日本語

docs.microsoft.com

以前の更新はこちら

更新された機能は下記になります(ドキュメントの日本語訳を調整したもの)

機能名 簡単な説明 対象読者
新しいMicrosoft Edge Chromium ベースの新しいMicrosoft Edge。 エンド ユーザー
WebXR および 360 ビューアー イマーシブ Web エクスペリエンスと 360 ビデオ再生をお試しください。 エンド ユーザー
新しい設定アプリ レガシ設定アプリは、新しい機能と設定で更新されたバージョンに置き換え中です。 エンド ユーザー
色の調整を表示する 表示する別の色プロファイルを選択します。 エンド ユーザー
既定のアプリ ピッカー ファイルまたはリンクの種類ごとに起動するアプリを選択します。 エンド ユーザー
アプリごとのボリュームコントロール システム ボリュームとは独立してアプリ レベルのボリュームを制御します。 エンド ユーザー
Web アプリをインストールする Microsoft Office Web AppsのようなWebアプリをインストールできます。 エンド ユーザー
スワイプして入力する ホログラフィック キーボードで指のヒントを使用して単語を "スワイプ" します。 エンド ユーザー
[スタート] の [電源] メニュー [スタート] メニューで、HoloLens デバイスの再起動やシャットダウンをができます。 エンド ユーザー
[サインイン] 画面に表示される複数のユーザー [サインイン] 画面に複数のユーザー アカウントを表示します。 エンド ユーザー
USB-C 外部マイクのサポート アプリやリモートアシスタンスで USB C マイクを使用します。 エンド ユーザー
キオスクのビジター自動ログオン ビジターアカウントの自動ログオンをキオスクモードで使用できるようにします。 IT 管理者
キオスクモードでの新しいアプリの新しい AUMIDs AUMIDs は、新しい設定とエッジアプリを対象としています。 IT 管理者
キオスクモードのエラー処理の改善 キオスクモードでは、空のスタートメニューの前に、グローバルに割り当てられたアクセスを検索します。 IT 管理者
新しい Settingは、ページ設定の可視性を示します 新しい SettingPageVisibilityList は、Settings/ポリシーを対象としています。 IT 管理者
フォールバック診断の構成 設定アプリでフォールバック診断動作を設定しています。 IT 管理者
近くのデバイスとの共有 HoloLens から PC にファイルまたは URL を共有します。 すべて
新しい OS 診断トレース OS の更新の設定の新しいトラブルシューティング。 IT 管理者
配信の最適化のプレビュー 複数の HoloLens デバイスからのダウンロードの帯域幅の消費を削減します。 IT 管理者

いくつかピックアップして紹介します

新しいMicrosoft Edge

f:id:kaorun55:20210518002948j:plain

Chromium ベースの新しいMicrosoft Edgeに変わり、WebRTCやWebXRなどがサポートされました。

新しい設定アプリ

設定アプリが更新され、デスクトップのWindows 10のような細かい設定ができるようになりました。

色の調整を表示する

システム → 調整 に色の調整が追加されました。

HoloLens 2の色味調整が可能になります。

f:id:kaorun55:20210607141851j:plain

f:id:kaorun55:20210607142604j:plain

[スタート] の [電源] メニュー

スタートメニューから再起動やシャットダウンが可能になりました(今までは音声コマンドやデバイスポータルからのみ)

f:id:kaorun55:20210607152637p:plain

USB-C 外部マイクのサポート

外部マイクをサポートします(今までは外部マイクは未サポート)。

システム → サウンド より、利用するマイクとスピーカーの設定が可能です。

f:id:kaorun55:20210518002249j:plain

Build 2021 Keynoteから見るMixed Realityのこれから

HoloLens 2 N

f:id:kaorun55:20210526095516p:plain

中村です。

2021年5月26日から始まったMicrosoft Build 2021。

このKeynoteでのMixed Reality事例が印象的でした。

Keynoteは下記より、登録するとオンデマンドでそのまま見られます。

MR関連は14分あたりからです。

mybuild.microsoft.com

Keynoteで「メタバース」の単語が出たことが意外でしたが、いままで点であったデータが線、面と広がっていくと想像できます。

KeynoteのIoT/MRパートで紹介されていたサービス

Azure IoT Hub: IoTデバイスの接続

azure.microsoft.com

Azure Digital Twin: データ構造の接続と可視化

azure.microsoft.com

Azure Synapse: 分析

azure.microsoft.com

Power Platform: ローコードノーコード開発

powerplatform.microsoft.com

Microsoft Mesh/HoloLens: リアルタイムコミュニケーション

www.microsoft.com

関連セッション

Ask the Experts: Welcome to Mixed Reality: Tools & strategies to approach MR development

日本時間 5/27(木) 2:30 AM - 3:00 AM

mybuild.microsoft.com

Building Digital Twins, Mixed Reality and Metaverse Apps

日本時間 5/27(木) 6:00 AM - 6:30 AM 、 10:00 PM - 10:30 PM

mybuild.microsoft.com

Connect IoT data to HoloLens 2 with Azure Digital Twins and Unity

日本時間 5/27(木) 7:00 AM - 8:15 AM

mybuild.microsoft.com

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (3)

LiDAR

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてはじめてみたら分量がとんでもないことになってきた長編連載？第3回目です。これで最終回ですｗｗ

第1回: 「LiDARスキャナ」について調べてみた (1)

第2回: 「LiDARスキャナ」について調べてみた (2)

  • Apple製品におけるLiDARの構成について
  • VCSELって何？
  • VCSELによるアレイ化
  • DOEにより、アレイ状のレーザー光を更に拡散

blog.hololab.co.jp

そして、もとの記事AppleがII-VI(ツーシック)へ440億円を拠出した話題だったんですがｗ、だいぶ明後日の方向に記事が伸びてしまってますｗ

www.moguravr.com

さて、前回まででLiDARスキャナの構造が、発光と受光と信号処理になってて、発光素子としてVCSELがビカッって見えないけれど光って、それをDOEがバラっと拡散するところまで書きました。

f:id:takesenit:20210522223137p:plain
LiDARスキャナをウェブカムで撮影。人間の目には見えなくても機械の目にはお見通し！

そうした光が、、、

VCSEL/DOEによる照射光をセンスしてToFを実現するSPAD

VCSELアレイが発したレーザー光がDOEで拡散されて、近赤外線で明るくなった各ドットのイメージを、今度はソニー製SPAD(Single Photon Avalanche Diode)の受光素子が捉えて、ToF (Time of Flight)：光の到達時間から距離を計算します。

このSPAD自体は最後のDがDiodeなだけあって、そのもの自体は受光素子です。ただ、EETimesの記事によるとSPADはアレイ状に配置されていて、かつこのSPADアレイの下にToF計算用のロジック回路を配置して直接配線されている「ロジック統合型CMOSイメージセンサー」とのことでレポートしています。

「旧型の10ミクロンピクセルiToF設計に似ているように見えたが、史上初のインピクセル接続コンシューマーCMOSイメージセンサーであることが判明した。これは、単一光子アバランシェダイオード（SPAD：Single Photon avalanche diode）アレイだ」

また、ToF方式には光の到達時間そのものを「直接」測定するdToF(direct)と、時間ではなく位相の差から「間接的に」距離を計測するiToF(indirect)があります。一般的にはiToFがモバイル機器に使われていましたが、AppleのLiDARは屋外に強く長距離性能に長けたdToFを採用したとのことです。

II-VI社はAppleのLiDARスキャナのサプライヤなのか？

ということで、冒頭に紹介した記事で「AppleがLiDARサプライヤのII‐VI社へ440億円提供」という文脈から行くと、残念ながらこの分解レポートにおいては下記構成で、II-VI社は含まれていない模様です。

もう一度ニュース原文を読み直して見ると下記の表現でした。

www.apple.com

II-VI manufactures vertical-cavity surface-emitting lasers (VCSELs) that help power Face ID, Memoji, Animoji, and Portrait mode selfies. Apple also works with II-VI to manufacture lasers used in the LiDAR Scanner

直訳すると、「II-VIはFace ID、Memoji、Animoji、ポートレートモードの自撮りを実現するVCSELを製造します。また、LiDARスキャナーに利用されるレーザーの生産についてもAppleはII-VIと活動します。

どちらも英語的には現在進行形や現在完了形ではなく、現在系。特にLiDARスキャナーについては、生産についてワークする、だからまだ作ってないのかもしれないｗ 集めた情報から想定すると、「II-VIはLiDARスキャナの中の重要部品であるVCSELアレイのサプライヤになるかもしれない」という表現が適切なように感じました。

The expansion of the company’s long-standing relationship with II-VI will create additional capacity and accelerate delivery of future components for iPhone, with 700 jobs in Sherman, Texas; Warren, New Jersey; Easton, Pennsylvania; and Champaign, Illinois.

この枠組みで、700名の新規雇用が、テキサス、ニュージャージー、ペンシルバニア、イリノイの各州の工場で産まれるとのこと。

そして、この記事で本当に伝えたかったのはLiDARスキャナの中身だったり技術についてではなくて、米中摩擦や新型コロナにより分断されていく世界で、国際企業たるAppleとしては将来性あるテクノロジーに関連した雇用やSDGsに対応したGreenなサプライチェインを国内に積極投資していく、とのPRが主目的なように読めました。

LiDARだけじゃない、AppleのUS国内生産の動き？

心臓部であるAシリーズなどもQualcomm製を使うのではなくARMコアを独自実装出来るライセンスを持ち、ユーザー体験を作るための根っこからデザインしてきたApple。コアのCPU自体はまだ台湾TSMCが長期パートナーシップの元で製造していますが、Ｍ1もMacだけでなくiPadに搭載を始めたことなどからも最新プロセスの生産キャパ問題がレポートされています。

thebridge.jp

情勢不安や米国が受けた新型コロナの打撃から国内産業の復興を政府が狙いたいのは明確。IntelがAppleシリコンの製造をしたいとのコメントを出していたり。

japanese.engadget.com

CPUについてはまだ具体的な動きは見えていない状況ではあります。ただ、モバイルデバイスが日々の生活に溶け込んでどんどん便利になるにつれて、その体験を支えるコア部品の継続安定供給性が極めて重要になってます。

全体的にサプライチェインを自社のコントロール可能な自国内に戻そう、というような動きが加速しそうです。 そして、日本人として気になるのは、ソニーのSPAD CMOSイメージセンサはどうなるのかなってところですねｗ AppleがII-IV同様にAwardしてソニーセミコンがUS工場に投資してUS現地雇用を産む、みたいな話になるのかな？

さて、ここまでが元々のAppleのAwardに関するニュース記事についての調査と、最後は重要なパーツをいかに安定供給するかが、この情勢不安な状況で国内主義的な方向で重要になって来てるんじゃないかとの仮説についてあれこれと書いてみたブログ記事でした。

そして、ここから先は調査の過程でさらに脱線しまくった部分ｗ 散文的な感じなので流し読みして頂ければッて言う感じです。

蛇足1: Lumentum社を調べたら、光部品メーカーの仁義なき戦いがうかがい知れた

あれこれと調べていたら本筋から逸れた方向でも興味深い話があったので、蛇足としてまとめてみますｗ

現在のLiDARスキャナでVCSELアレイを供給してるとレポートされたLumentum社について調べてみたら、光部品メーカーが食いつ食われつの買収合戦を繰り広げていたのが分かり、これまた興味深かったです。

2018年のII-VIとFinisarの買収劇をまとめたブログに掲載されていたチャートが、ビジュアルからしてすでに激しい。ディープパープルのメンバーチェンジ遍歴みたいｗ

f:id:takesenit:20210517012454p:plain
II-VI社の買収遍歴(https://www.sevensix.co.jp/tech/blog/20210423_523/)

FinisarにしてもCoherentにしても、ここで名前が出てくる会社の多くが産業用や通信用レーザーを作っていた企業。武仙も以前SFPの光モジュールとか扱ってたときにFinisarとかは競合他社で名前を聞いた記憶があります。

これは完全に想像ですが、2000年以降ネットワークにおける光通信バブルが起きて、メトロ側からOC-192とか光インターコネクトとかでニーズが出て、FTTHとかが流行って、、、っていうタイミングで多くのメーカーが通信用光部品に投資を実施。あるタイミングで光化がひと段落して横ばいになった市場に対してプレイヤーが多かったので統合が進んだのか、それから更に高付加価値化が求められて企業体力のあるところに集約が行われたのか、など色々となぜこんなに買収が頻繁に行われたのか考えてしまいます。

蛇足2: フロントノッチ部分のTrueDepthもLiDAR？

このTrueDepthを調べてる過程で「すごいことに気づいた！」って思ったんですが、、、すぐに間違えてることをあるしおうねさんにご指摘頂きましたｗｗ

まだちゃんと実験してないんですが、原理的にFaceID認証の一瞬だけドットパターン側も照射されているはず。

ということで、AppleのiPhone/iPadに搭載されてる光学センサー関係を調べてみたら超大作ブログが出来上がっちゃったというお話でしたｗ 目に見えない赤外線を操って、めちゃめちゃ限りあるバッテリー容量を有効に活用しながらも色々なUXをさりげなく、かつ結構野心的に実装してあるのが垣間見られました。

赤外線と同じく目に見えないとの観点では非接触充電用だったりU1チップによる超音波広帯域通信だったりと、これまた光学センサーと組み合わせたら面白そうな技術がすでに搭載されていて、、、センサー好きテクノロジー好きとしては引き続きAppleのモノヅクリやUXデザインに目が離せない状況が続きそうです！

ホロラボではLiDARスキャナを使ったiOSアプリも開発しています。
開発のお問い合わせはこちら。

https://hololab.co.jp/#contact

また、ARKitやLiDARを使ったiOSアプリ開発者も激しく募集しています！ hololab.co.jp

面白そうだなと思って頂けたら、ぜひお気軽にお問い合わせください！