ブログ@HoloLabInc

株式会社ホロラボのブログです

HoloLens 2 の Microsoft Mesh アプリ更新 2021/05/17

2021/05/17 にHoloLens 2 の Microsoft Mesh アプリが更新されました。

リリースノートはこちら

docs.microsoft.com

変更点は下記です。

  • 以前にアクセスしたスペースが [スペース] タブに保持されるようになりました。
  • OneDriveのMyContent フォルダー内のアイテムにサムネイル画像が表示されるようになりました。
  • Azure Remote Renderingを使用して、大規模で複雑なホログラムをクラウドから読み込むことができます。
  • HoloLensのローカルドライブ または OneDrive から現在のスペースに直接ファイルをアップロードできるようになりました。

Azure Remote Rendering と ローカルファイルピッカー

Azure Remote Rendering (ARR) でのモデル表示 と ローカルファイルピッカー(HoloLensのローカルディスクからのアップロード)が可能になりました。

これらは設定の「Experimental Features」から有効にできます。

f:id:kaorun55:20210607170859j:plain

f:id:kaorun55:20210604120306j:plain

ARRはContentメニューの左側タブから、ローカルファイルは右下から選択可能です。

f:id:kaorun55:20210607171411j:plain

ARR、ローカルファイルともにスペースでモデルおよび操作が共有されます。

対応ローカルファイルファイル形式の追加

ローカルファイルについて、今回の更新か、リリースノートを見ると4月の更新かで、画像ファイルへの対応が行われています(今まではGLB形式のの3Dモデルのみ)

画像ファイルは JPG,PNG,TIFF,GIF に対応しています(GIFは静止画として表示されます)

f:id:kaorun55:20210604120324j:plain

Azure Remote Rendering(ARR) の利用について

Meshアプリ内でのARRは、Meshがプレビュー期間中は無料のようです(個別にARRを利用する場合は有料)。

f:id:kaorun55:20210604120348j:plain

ARRを有効にするか、デフォルトのエンジンを表示するかのタイミングで OneDrriveの MyContent フォルダ ( OneDrive\アプリ\Microsoft Mesh App (Preview) 以下) に remote_models.json というファイルが生成されます。ここにARRで使用するモデルの名前とモデルファイル(arrAssetのSAS)を設定します

f:id:kaorun55:20210607172939p:plain

arrAssetのSASは変換済みARRアセットのBlobストレージの該当ファイルを選択し作成します。

f:id:kaorun55:20210607173207p:plain

作成したSAS URLをjsonのsasUriに設定します。

f:id:kaorun55:20210607173114p:plain

設定後にMeshアプリを起動すると、ARRタブに設定したモデルが表示、選択されます。

f:id:kaorun55:20210607172606p:plain

ARR用モデルの作成は「Azure Remote Rendering Asset Tool(ARRT)」を使用すると便利です。

blog.hololab.co.jp

HoloLens 2の最新OSバージョンのWindows Holographic version 21H1がリリースされました

f:id:kaorun55:20210607144500j:plain

HoloLens 2の最新OSバージョンのWindows Holographic version 20H2がリリースされました。

バージョン番号は OSバージョン 21H1 ( ビルド 20346.1002 ) になっています。

Windows Updateにより更新可能です。

リリースノートはこちら。

英語

docs.microsoft.com

日本語

docs.microsoft.com

以前の更新はこちら

更新された機能は下記になります(ドキュメントの日本語訳を調整したもの)

機能名 簡単な説明 対象読者
新しいMicrosoft Edge Chromium ベースの新しいMicrosoft Edge。 エンド ユーザー
WebXR および 360 ビューアー イマーシブ Web エクスペリエンスと 360 ビデオ再生をお試しください。 エンド ユーザー
新しい設定アプリ レガシ設定アプリは、新しい機能と設定で更新されたバージョンに置き換え中です。 エンド ユーザー
色の調整を表示する 表示する別の色プロファイルを選択します。 エンド ユーザー
既定のアプリ ピッカー ファイルまたはリンクの種類ごとに起動するアプリを選択します。 エンド ユーザー
アプリごとのボリュームコントロール システム ボリュームとは独立してアプリ レベルのボリュームを制御します。 エンド ユーザー
Web アプリをインストールする Microsoft Office Web AppsのようなWebアプリをインストールできます。 エンド ユーザー
スワイプして入力する ホログラフィック キーボードで指のヒントを使用して単語を "スワイプ" します。 エンド ユーザー
[スタート] の [電源] メニュー [スタート] メニューで、HoloLens デバイスの再起動やシャットダウンをができます。 エンド ユーザー
[サインイン] 画面に表示される複数のユーザー [サインイン] 画面に複数のユーザー アカウントを表示します。 エンド ユーザー
USB-C 外部マイクのサポート アプリやリモートアシスタンスで USB C マイクを使用します。 エンド ユーザー
キオスクのビジター自動ログオン ビジターアカウントの自動ログオンをキオスクモードで使用できるようにします。 IT 管理者
キオスクモードでの新しいアプリの新しい AUMIDs AUMIDs は、新しい設定とエッジアプリを対象としています。 IT 管理者
キオスクモードのエラー処理の改善 キオスクモードでは、空のスタートメニューの前に、グローバルに割り当てられたアクセスを検索します。 IT 管理者
新しい Settingは、ページ設定の可視性を示します 新しい SettingPageVisibilityList は、Settings/ポリシーを対象としています。 IT 管理者
フォールバック診断の構成 設定アプリでフォールバック診断動作を設定しています。 IT 管理者
近くのデバイスとの共有 HoloLens から PC にファイルまたは URL を共有します。 すべて
新しい OS 診断トレース OS の更新の設定の新しいトラブルシューティング。 IT 管理者
配信の最適化のプレビュー 複数の HoloLens デバイスからのダウンロードの帯域幅の消費を削減します。 IT 管理者

いくつかピックアップして紹介します

新しいMicrosoft Edge

f:id:kaorun55:20210518002948j:plain

Chromium ベースの新しいMicrosoft Edgeに変わり、WebRTCやWebXRなどがサポートされました。

新しい設定アプリ

設定アプリが更新され、デスクトップのWindows 10のような細かい設定ができるようになりました。

色の調整を表示する

システム → 調整 に色の調整が追加されました。

HoloLens 2の色味調整が可能になります。

f:id:kaorun55:20210607141851j:plain

f:id:kaorun55:20210607142604j:plain

[スタート] の [電源] メニュー

スタートメニューから再起動やシャットダウンが可能になりました(今までは音声コマンドやデバイスポータルからのみ)

f:id:kaorun55:20210607152637p:plain

USB-C 外部マイクのサポート

外部マイクをサポートします(今までは外部マイクは未サポート)。

システム → サウンド より、利用するマイクとスピーカーの設定が可能です。

f:id:kaorun55:20210518002249j:plain

Build 2021 Keynoteから見るMixed Realityのこれから

f:id:kaorun55:20210526095516p:plain

中村です。

2021年5月26日から始まったMicrosoft Build 2021。

このKeynoteでのMixed Reality事例が印象的でした。

Keynoteは下記より、登録するとオンデマンドでそのまま見られます。

MR関連は14分あたりからです。

mybuild.microsoft.com

Keynoteで「メタバース」の単語が出たことが意外でしたが、いままで点であったデータが線、面と広がっていくと想像できます。

KeynoteのIoT/MRパートで紹介されていたサービス

Azure IoT Hub: IoTデバイスの接続

azure.microsoft.com

Azure Digital Twin: データ構造の接続と可視化

azure.microsoft.com

Azure Synapse: 分析

azure.microsoft.com

Power Platform: ローコードノーコード開発

powerplatform.microsoft.com

Microsoft Mesh/HoloLens: リアルタイムコミュニケーション

www.microsoft.com

関連セッション

Ask the Experts: Welcome to Mixed Reality: Tools & strategies to approach MR development

日本時間 5/27(木) 2:30 AM - 3:00 AM

mybuild.microsoft.com

Building Digital Twins, Mixed Reality and Metaverse Apps

日本時間 5/27(木) 6:00 AM - 6:30 AM 、 10:00 PM - 10:30 PM

mybuild.microsoft.com

Connect IoT data to HoloLens 2 with Azure Digital Twins and Unity

日本時間 5/27(木) 7:00 AM - 8:15 AM

mybuild.microsoft.com

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (3)

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてはじめてみたら分量がとんでもないことになってきた長編連載?第3回目です。これで最終回ですww

第1回: 「LiDARスキャナ」について調べてみた (1)

第2回: 「LiDARスキャナ」について調べてみた (2)

  • Apple製品におけるLiDARの構成について
  • VCSELって何?
  • VCSELによるアレイ化
  • DOEにより、アレイ状のレーザー光を更に拡散

blog.hololab.co.jp


そして、もとの記事AppleがII-VI(ツーシック)へ440億円を拠出した話題だったんですがw、だいぶ明後日の方向に記事が伸びてしまってますw

www.moguravr.com

さて、前回まででLiDARスキャナの構造が、発光と受光と信号処理になってて、発光素子としてVCSELがビカッって見えないけれど光って、それをDOEがバラっと拡散するところまで書きました。

f:id:takesenit:20210522223137p:plain
LiDARスキャナをウェブカムで撮影。人間の目には見えなくても機械の目にはお見通し!

そうした光が、、、

VCSEL/DOEによる照射光をセンスしてToFを実現するSPAD

VCSELアレイが発したレーザー光がDOEで拡散されて、近赤外線で明るくなった各ドットのイメージを、今度はソニー製SPAD(Single Photon Avalanche Diode)の受光素子が捉えて、ToF (Time of Flight):光の到達時間から距離を計算します。

このSPAD自体は最後のDがDiodeなだけあって、そのもの自体は受光素子です。ただ、EETimesの記事によるとSPADはアレイ状に配置されていて、かつこのSPADアレイの下にToF計算用のロジック回路を配置して直接配線されている「ロジック統合型CMOSイメージセンサー」とのことでレポートしています。

「旧型の10ミクロンピクセルiToF設計に似ているように見えたが、史上初のインピクセル接続コンシューマーCMOSイメージセンサーであることが判明した。これは、単一光子アバランシェダイオード(SPAD:Single Photon avalanche diode)アレイだ」

また、ToF方式には光の到達時間そのものを「直接」測定するdToF(direct)と、時間ではなく位相の差から「間接的に」距離を計測するiToF(indirect)があります。一般的にはiToFがモバイル機器に使われていましたが、AppleのLiDARは屋外に強く長距離性能に長けたdToFを採用したとのことです。

II-VI社はAppleのLiDARスキャナのサプライヤなのか?

ということで、冒頭に紹介した記事で「AppleがLiDARサプライヤのII‐VI社へ440億円提供」という文脈から行くと、残念ながらこの分解レポートにおいては下記構成で、II-VI社は含まれていない模様です。

もう一度ニュース原文を読み直して見ると下記の表現でした。

www.apple.com

II-VI manufactures vertical-cavity surface-emitting lasers (VCSELs) that help power Face ID, Memoji, Animoji, and Portrait mode selfies. Apple also works with II-VI to manufacture lasers used in the LiDAR Scanner

直訳すると、「II-VIはFace ID、Memoji、Animoji、ポートレートモードの自撮りを実現するVCSELを製造します。また、LiDARスキャナーに利用されるレーザーの生産についてもAppleはII-VIと活動します。

どちらも英語的には現在進行形や現在完了形ではなく、現在系。特にLiDARスキャナーについては、生産についてワークする、だからまだ作ってないのかもしれないw 集めた情報から想定すると、「II-VIはLiDARスキャナの中の重要部品であるVCSELアレイのサプライヤになるかもしれない」という表現が適切なように感じました。

The expansion of the company’s long-standing relationship with II-VI will create additional capacity and accelerate delivery of future components for iPhone, with 700 jobs in Sherman, Texas; Warren, New Jersey; Easton, Pennsylvania; and Champaign, Illinois.

この枠組みで、700名の新規雇用が、テキサス、ニュージャージー、ペンシルバニア、イリノイの各州の工場で産まれるとのこと。

そして、この記事で本当に伝えたかったのはLiDARスキャナの中身だったり技術についてではなくて、米中摩擦や新型コロナにより分断されていく世界で、国際企業たるAppleとしては将来性あるテクノロジーに関連した雇用やSDGsに対応したGreenなサプライチェインを国内に積極投資していく、とのPRが主目的なように読めました。

LiDARだけじゃない、AppleのUS国内生産の動き?

心臓部であるAシリーズなどもQualcomm製を使うのではなくARMコアを独自実装出来るライセンスを持ち、ユーザー体験を作るための根っこからデザインしてきたApple。コアのCPU自体はまだ台湾TSMCが長期パートナーシップの元で製造していますが、M1もMacだけでなくiPadに搭載を始めたことなどからも最新プロセスの生産キャパ問題がレポートされています。

thebridge.jp

情勢不安や米国が受けた新型コロナの打撃から国内産業の復興を政府が狙いたいのは明確。IntelがAppleシリコンの製造をしたいとのコメントを出していたり。

japanese.engadget.com

CPUについてはまだ具体的な動きは見えていない状況ではあります。ただ、モバイルデバイスが日々の生活に溶け込んでどんどん便利になるにつれて、その体験を支えるコア部品の継続安定供給性が極めて重要になってます。

全体的にサプライチェインを自社のコントロール可能な自国内に戻そう、というような動きが加速しそうです。 そして、日本人として気になるのは、ソニーのSPAD CMOSイメージセンサはどうなるのかなってところですねw AppleがII-IV同様にAwardしてソニーセミコンがUS工場に投資してUS現地雇用を産む、みたいな話になるのかな?


さて、ここまでが元々のAppleのAwardに関するニュース記事についての調査と、最後は重要なパーツをいかに安定供給するかが、この情勢不安な状況で国内主義的な方向で重要になって来てるんじゃないかとの仮説についてあれこれと書いてみたブログ記事でした。

そして、ここから先は調査の過程でさらに脱線しまくった部分w 散文的な感じなので流し読みして頂ければッて言う感じです。


蛇足1: Lumentum社を調べたら、光部品メーカーの仁義なき戦いがうかがい知れた

あれこれと調べていたら本筋から逸れた方向でも興味深い話があったので、蛇足としてまとめてみますw

現在のLiDARスキャナでVCSELアレイを供給してるとレポートされたLumentum社について調べてみたら、光部品メーカーが食いつ食われつの買収合戦を繰り広げていたのが分かり、これまた興味深かったです。

2018年のII-VIとFinisarの買収劇をまとめたブログに掲載されていたチャートが、ビジュアルからしてすでに激しい。ディープパープルのメンバーチェンジ遍歴みたいw

f:id:takesenit:20210517012454p:plain
II-VI社の買収遍歴(https://www.sevensix.co.jp/tech/blog/20210423_523/)

FinisarにしてもCoherentにしても、ここで名前が出てくる会社の多くが産業用や通信用レーザーを作っていた企業。武仙も以前SFPの光モジュールとか扱ってたときにFinisarとかは競合他社で名前を聞いた記憶があります。

これは完全に想像ですが、2000年以降ネットワークにおける光通信バブルが起きて、メトロ側からOC-192とか光インターコネクトとかでニーズが出て、FTTHとかが流行って、、、っていうタイミングで多くのメーカーが通信用光部品に投資を実施。あるタイミングで光化がひと段落して横ばいになった市場に対してプレイヤーが多かったので統合が進んだのか、それから更に高付加価値化が求められて企業体力のあるところに集約が行われたのか、など色々となぜこんなに買収が頻繁に行われたのか考えてしまいます。

蛇足2: フロントノッチ部分のTrueDepthもLiDAR?

このTrueDepthを調べてる過程で「すごいことに気づいた!」って思ったんですが、、、すぐに間違えてることをあるしおうねさんにご指摘頂きましたww

まだちゃんと実験してないんですが、原理的にFaceID認証の一瞬だけドットパターン側も照射されているはず。


ということで、AppleのiPhone/iPadに搭載されてる光学センサー関係を調べてみたら超大作ブログが出来上がっちゃったというお話でしたw 目に見えない赤外線を操って、めちゃめちゃ限りあるバッテリー容量を有効に活用しながらも色々なUXをさりげなく、かつ結構野心的に実装してあるのが垣間見られました。

赤外線と同じく目に見えないとの観点では非接触充電用だったりU1チップによる超音波広帯域通信だったりと、これまた光学センサーと組み合わせたら面白そうな技術がすでに搭載されていて、、、センサー好きテクノロジー好きとしては引き続きAppleのモノヅクリやUXデザインに目が離せない状況が続きそうです!


ホロラボではLiDARスキャナを使ったiOSアプリも開発しています。
開発のお問い合わせはこちら。

https://hololab.co.jp/#contact

また、ARKitやLiDARを使ったiOSアプリ開発者も激しく募集しています! hololab.co.jp

面白そうだなと思って頂けたら、ぜひお気軽にお問い合わせください!

PTC社セミナーで登壇しました。

2021/05/13にPTC社のセミナーで登壇しました。

登録が必要ですが、リプレイセッションがありますので、ぜひご覧ください。

www.ptc.com

自社事例含めて20分で6件入れてます。概要ながらもポイントを説明しています。

speakerdeck.com

mixpace Remote Renderingについて

mixpace Remote Renderingについては日本マイクロソフト社のセミナーで紹介しておりますので、ぜひご覧ください。

blog.hololab.co.jp