ブログ@HoloLabInc

株式会社ホロラボのブログです

ヘルメット一体型 HoloLens 2 のXR10がリリースされました

HoloLens 2 N

ニコン・トリンブル社からヘルメット一体型の HoloLens 2である XR10 がリリースされました。

日本独自の仕様としてJIS規格への対応が挙げられます。

Trimble XR10 は、HoloLens 2 と、厚生労働省が定める保護帽規格及び絶縁保護規格に適合(※1)したヘルメット、並びに骨伝導ヘッドセットを組み合わせた施工現場用デバイスで、MR テクノロジーを多様な現場に展開できるようになります。

(※1) Trimble XR10 のヘルメットは以下の検定に合格したヘルメットで、環ひも（あごひも）、衝撃吸収ライナーを装着して出荷されます。

・物体の飛来又は落下、若しくは墜落による危険を防止するための規格検定

・頭部感電による危険を防止または軽減するための耐電圧試験

引用: https://blogs.windows.com/japan/2020/05/12/trimble-xr10/

基本的な性能は通常のHoloLens 2と同様ですが、スピーカーがついていないためBluetooth接続の骨伝導スピーカーが同梱されています。

XR10単体での価格が648,000円(税抜)と通常のHoloLens 2より高額ですが、現場利用の際には検討される事項と考えています。

お問い合せ

f:id:kaorun55:20200513121832j:plain

ホロラボでもXR10を1台購入しています。体験などのお問い合わせは下記からお願いします。

(購入のお問い合わせはニコン・トリンブル社にお願いします)

https://hololab.co.jp/#contact

Azure Remote Rendering(プレビュー)概要

HoloLens 2 Azure Remote Rendering N

(注意)Azure Remote Renderingはプレビューのため、正式リリース時には内容が変更される場合があります。

Azure Remote Renderingとは

HoloLens 2単体での表示が難しいような大量のポリゴンデータを扱えるようにします。モデルをクラウドに配置、クラウド上のVMでレンダリングを行い、HoloLens 2にストリーミングします。HoloLens 2単体での描画はおおよそ10万ポリゴンとされているのに対し、Azure Remote Renderingでは数千万ポリゴンから億単位のポリゴン数まで対応可能になっています。

現状で1億ポリゴンまで確認できました。

参考: HoloLens 2での描画限界

下記サイトと社内評価からおおよそHoloLens 2単体での性能限界は下記のようになっています。

HoloLens 2 Polygon Count and Frame Rate - Models - Fologram

  • 10万ポリゴンまでは正常に動作する
  • 20万ポリゴンを超えると動作が不安定になり始める
  • 100万ポリゴンを超えるとブレがひどくなってくる

ポイント

動作環境

Azure Remote Renderingは下記の環境で動作します。

  • HoloLens 2(UWP, x64)
  • Windows 10 デスクトップ(UWP, x86)

機能

サポートされるファイル形式

ファイル 備考
FBX FBX 2011 以降, PBRはサポート外
glTF バージョン2.x
GLB バージョン2.x

サポートされているVMのサイズ、リージョン、価格

Azure Remote Renderingには2つのVMサイズがあり、2000万ポリゴンを境にStandardとPremiumを切り替えます。

VMサイズ 最大ポリゴン数
Standard 2,000万ポリゴンまで
Premium 制限なし

Standardで2000万ポリゴンを超えた場合でも描画できないということではないようです。下記が1億ポリゴンをStandardとPremiumで比較したものでStatusに違いがあるようです。

f:id:kaorun55:20200512153038j:plain

サポートされているリージョンと価格は下記のようになっています。なお課金対象はセッションを開始している間となり、クライアントの接続の有無は関係ありません。

リージョン Standard(円/時間) Premium(円/時間) アセット変換(アセット ※ )
米国西部 2 ¥336.0 ¥1,344.0 ¥84
米国東部 ¥336.0 ¥1,344.0 ¥84
西ヨーロッパ ¥436.8 ¥1,747.2 ¥84
東南アジア ¥487.2 ¥1,948.8 ¥84

※ 月100トランザクションまでは無料

f:id:kaorun55:20200510134721p:plain

リージョン | Microsoft Docs 価格 - Azure Remote Rendering | Microsoft Azure

ネットワークの要件

  • ダウンロードが50 Mbps、アップロードが10 Mbps
  • 5 GHz の Wi-Fi 帯域を使用すると、通常は 2.4 GHz の Wi-Fi 帯域よりも優れた結果が得られる
  • 自分のリージョンに最も近い Azure データ センターに接続する。 データ センターに近いほど、ネットワーク待機時間が短くなり、ホログラムの安定性に大きく影響する

ネットワークの要件 | Microsoft Docs

モデルの準備

モデルのアップロードはサンプルリポジトリ内のPowreShellスクリプトで行います。 モデルはAzure Blob Storage上にアップロードされたあとにAzure Remote Rendering用のモデルに変換されます。

モデルを変換する | Microsoft Docs

PBRマテリアルについて

PBRマテリアルはglTF/GLBのみ有効になります。FBXはサポートされません。

モデル形式の素材マッピング | Microsoft Docs

サンプルアプリ

Quickstartで概要を把握したとはAzureRemoteRenderingShowcaseで社内や顧客のAzure Blob Storageごとにモデルを一覧するようにしておくと便利です。

Quickstart

一つのモデルをAzure Blob Storageから読み込みます。モデルが指定されない場合は既定のモデル(エンジン)が表示されます。

AzureRemoteRenderingShowcase

指定したAzure Blob Storage内のモデルを列挙してレンダリングできます。

切断面や照明など各種機能を利用できます。

制限事項

Hololens 2では「PV カメラからのレンダリング機能はサポートされていません。」となっています。

PVカメラとはRender from Camera(正式名称: render from the PV camera)で、MRCでのハンドメッシュなどのずれを抑制する機能です。

現状では通常のMRC(Render from Camera無効)であれば録画できますが、Render from Cameraを有効にすると録画ができなくなります。

制限事項 | Microsoft Docs

お問い合せ

ホロラボではAzure Remote Renderingに関するご相談、体験、開発なども承っております。

下記リンク先のフォームよりお問い合わせください。

https://hololab.co.jp/#contact

PowerAppsのMRプレビューを試してみた

Power Apps N

PowerAppsのMR(Mixed Reality: 複合現実)機能がプレビューリリースされたので試してみました。

※ 本機能はプレビューのためリリース時には変更される可能性があります。

やってみてPowerApps初心者の自分にはちょっと難しかったので手順をそれぞれ動画にしてみました。

なお、MR関係の実行環境はiOS, AndroidのPowerAppsアプリのみのようで、Windows含めてブラウザでは動作しないようなので注意してください。 docs.microsoft.com

コンポートネントは全部で4種類あります

コンポーネント 概要
View in 3D GLBモデルをPowerAppsで見られるようにする
View in MR GLBモデルをPowerApps上でMRとして見られるようにする
View Shape in MR CUBEを表示しておさまりを見られるようにする
Measure in MR 空間上の距離を測れる

View Shape in MRは今のところ配置してみるだけなので問題はなさそうですが、Measure in MRとView in 3D/MRは難しかったので作成手順を動画にまとめてみました。

PowerApps Measure In MR(Preview)

www.youtube.com

PowerApps View In 3D/MR(Preview)

www.youtube.com

Azure Blob Storageとの連携

GLBモデルをAzure Blob Storageから取り込むことで、ストレージ操作のみでモデルを変更できます。なお、PowerAppsでのAzure Blob Storageはプレミアムにで別途費用がかかりますので、場合によってはExcelを手動で更新する方法も選択肢としてあるでしょう。

GLBモデルが30MBを超えるとアプリが落ちる、アプリ原点が不明などは正式リリースで解消されるといいですね。

www.youtube.com

謝辞

Measure In MR(Preview)はやまさんに使い方を教えていただきました。

ありがとうございます。

qiita.com

3Dモデルについて

PowerApps MR(Preview)でサポートされているファイル形式はGLBのみとなっています。モデルの変換には「Dynamics 365 Import Tool (Preview)」が紹介されていますが、こちらはGuidesのPCアプリに統合される予定です。

ちょうどmixpaceでCAD/BIMから変換したGLBファイルのダウンロード機能が実装されましたので、変換サービスとしてのご検討もいたければと思います。

mixpace.jp

Vuforia Area Targetを試してみた

HoloLens 2 Vuforia N

Vuforia 9.0の新しい機能であるVuforia Area Targetを試してみました。Area Targetは空間認識の機能で、あらかじめ3Dスキャンしたデータをアプリ内に置くことで、そのスキャンデータと空間を比較し位置を合わせてくれる機能になります。

library.vuforia.com

HoloLensを装着して部屋に入ると瞬時にその部屋を認識して、Unityで配置した空間が復元されます。

空間のスキャンに$3,395 の Matterport Pro2 カメラが必要ですが、高精度な位置検出、位置合わせと考えると検討可能な範囲と考えています。

youtu.be

準備する環境

ソフトウェア

ハードウェア

空間のスキャンには Matterport 社のカメラおよびサービスを利用します。 必要なコストは以下の 3 つになります。

  • $3,395 の Matterport Pro2 カメラ
    • Vuforia Area Target で利用可能な Matterport カメラ。
  • $69/月以上のプラン
    • Matterport Pro 2 カメラで撮影したスキャンデータをモデル化するためのサブスクリプション契約。いくつかの種類があり、$69/月以上のプランが Matterport Pro2に対応している
  • $49 の MatterPak
    • Vuforia Area Target Generator が使用する Matterport のスキャン CG データ

撮影手順などのドキュメント

注意点

Matterport での撮影

Matterport カメラを配置し、iOS の Capture アプリで撮影を行う。スキャンは 2m ごとに行い、Matterport カメラの高さは 1.4m に設置する

library.vuforia.com

Vuforia Area Target Generator でのスキャンデータ取り込み

Vuforia Area Target Generator で Matterport のスキャンデータを取り込む際は Matterportの API を利用するが、既定では無効になっているため「beta-platform@matterport.com」に問い合わせをしてアカウントの API を有効にする ( 参 考 : https://support.matterport.com/hc/en-us/articles/360041976053-Start-Using-theMatterport-API-Today- )

お問い合せ

Vuforia Area Targetを利用した空間ARについてご興味あればお問い合せください。

hololab.co.jp

AzureKinect DK USBケーブル動作実績

Azure KinectのUSBケーブル動作実績をまとめています。

  • 2020/04/05 公開

スプレッドシートにもまとめています。 docs.google.com

現状でホロラボとしのて知見は下記となります。

  1. データケーブルを延長する場合はType Aケーブルを使用する
  2. 電源側はUSBケーブルではなくコンセント側を延長する
    • USBケーブルを延長すると減衰して必要電圧に満たない場合がある

参考サイト

www.newnex.com

動作確認済み Type-A オス to Type-A メス データ用延長ケーブル

メーカー 品番 規格 端子 長さ 電源供給 備考
Newnex UL-EX-10M USB 3.1 Gen. 1 Type-A オス to Type-A メス 10m なし
Newnex UL-EX-16M USB 3.1 Gen. 1 Type-A オス to Type-A メス 16m なし

動作確認済み ケーブル

メーカー 品番 規格 端子 長さ 補助電源 備考
Newnex FIRENEX-ULC-8 USB 3.1 Gen. 1 Type-A to Type-C 8m 必要
Newnex FIRENEX-ULC-16 USB 3.1 Gen. 1 Type-A to Type-C 16m 必要
Newnex UL-C21C11-8M USB 3.1 Gen. 1 Type-C to Type-C 8m 必要 注1
Newnex UL-C21C11-16M USB 3.1 Gen. 1 Type-C to Type-C 16m 必要 注1
Anker AK-A8485011 USB 3.1 Gen.2 Type-C to Type-C 0.9m 不要 注2
Cable Matters 107002-BLK-2m Thunderbolt 3 Type-C to Type-C 2m 不要 注2
Newnex UL-C21C31-10M USB 3.1 Gen. 1 Type-C to Type-C 10m 不要 注1、注3

動作対応製品(未確認)

メーカー 品番 規格 端子 長さ 補助電源 備考
Newnex UL-C21C31-10M USB 3.1 Gen. 1 Type-C to Type-C 10m 不要 注1、注3

動作しなかった/不安定(確認済み)

メーカー 品番 規格 端子 長さ 備考
Kaweno KI-0009 USB 3.1 Gen2 Type-C to Type-C 3m 注4

動作しなかった/不安定(未確認)

メーカー 品番 規格 端子 長さ 備考
Oculus Oculus Link ケーブル USB 3.1 Gen1 Type-C to Type-C 5m

注記

注1

  • 端子が長いが、差し込み部分が短いためちょっとした応力で故障しやすいです
    • TypeCのケーブルはポートも壊しそうなので、TypeAでの延長をおすすめします
  • このケーブルには指向性があります。青をホスト側、黒をデバイス側に接続してください
  • f:id:kaorun55:20200405150742p:plain

注2

  • ノートパソコンでは電源供給能力が不足するため補助電源が必要になるかもしれない

注3

  • UL-C21C11-8M/16Mの新製品です。USB PDに対応してAzure Kinectに1本で通信/給電が可能なケーブルです。補助電源が不要になります。

注4

  • 電源無しで使えるが、映像が乱れる等動作が不安定になる場合がある

その他

  • マザーボード（ASUS PRIME Z390-A）のUSB Type-CポートにAzure Kinectを接続した場合、 通電復帰時にパソコンを自動起動する設定では起動時にUSBの初期化に失敗する現象を確認しています。 電源ボタンを押してパソコンを通常起動する場合は正常に動作します。