ブログ@HoloLabInc

株式会社ホロラボのブログです

PowerAppsのMRプレビューを試してみた

Power Apps N

PowerAppsのMR(Mixed Reality: 複合現実)機能がプレビューリリースされたので試してみました。

※ 本機能はプレビューのためリリース時には変更される可能性があります。

やってみてPowerApps初心者の自分にはちょっと難しかったので手順をそれぞれ動画にしてみました。

なお、MR関係の実行環境はiOS, AndroidのPowerAppsアプリのみのようで、Windows含めてブラウザでは動作しないようなので注意してください。 docs.microsoft.com

コンポートネントは全部で4種類あります

コンポーネント 概要
View in 3D GLBモデルをPowerAppsで見られるようにする
View in MR GLBモデルをPowerApps上でMRとして見られるようにする
View Shape in MR CUBEを表示しておさまりを見られるようにする
Measure in MR 空間上の距離を測れる

View Shape in MRは今のところ配置してみるだけなので問題はなさそうですが、Measure in MRとView in 3D/MRは難しかったので作成手順を動画にまとめてみました。

PowerApps Measure In MR(Preview)

www.youtube.com

PowerApps View In 3D/MR(Preview)

www.youtube.com

Azure Blob Storageとの連携

GLBモデルをAzure Blob Storageから取り込むことで、ストレージ操作のみでモデルを変更できます。なお、PowerAppsでのAzure Blob Storageはプレミアムにで別途費用がかかりますので、場合によってはExcelを手動で更新する方法も選択肢としてあるでしょう。

GLBモデルが30MBを超えるとアプリが落ちる、アプリ原点が不明などは正式リリースで解消されるといいですね。

www.youtube.com

謝辞

Measure In MR(Preview)はやまさんに使い方を教えていただきました。

ありがとうございます。

qiita.com

3Dモデルについて

PowerApps MR(Preview)でサポートされているファイル形式はGLBのみとなっています。モデルの変換には「Dynamics 365 Import Tool (Preview)」が紹介されていますが、こちらはGuidesのPCアプリに統合される予定です。

ちょうどmixpaceでCAD/BIMから変換したGLBファイルのダウンロード機能が実装されましたので、変換サービスとしてのご検討もいたければと思います。

mixpace.jp

Vuforia Area Targetを試してみた

HoloLens 2 Vuforia N

Vuforia 9.0の新しい機能であるVuforia Area Targetを試してみました。Area Targetは空間認識の機能で、あらかじめ3Dスキャンしたデータをアプリ内に置くことで、そのスキャンデータと空間を比較し位置を合わせてくれる機能になります。

library.vuforia.com

HoloLensを装着して部屋に入ると瞬時にその部屋を認識して、Unityで配置した空間が復元されます。

空間のスキャンに$3,395 の Matterport Pro2 カメラが必要ですが、高精度な位置検出、位置合わせと考えると検討可能な範囲と考えています。

youtu.be

準備する環境

ソフトウェア

ハードウェア

空間のスキャンには Matterport 社のカメラおよびサービスを利用します。 必要なコストは以下の 3 つになります。

  • $3,395 の Matterport Pro2 カメラ
    • Vuforia Area Target で利用可能な Matterport カメラ。
  • $69/月以上のプラン
    • Matterport Pro 2 カメラで撮影したスキャンデータをモデル化するためのサブスクリプション契約。いくつかの種類があり、$69/月以上のプランが Matterport Pro2に対応している
  • $49 の MatterPak
    • Vuforia Area Target Generator が使用する Matterport のスキャン CG データ

撮影手順などのドキュメント

注意点

Matterport での撮影

Matterport カメラを配置し、iOS の Capture アプリで撮影を行う。スキャンは 2m ごとに行い、Matterport カメラの高さは 1.4m に設置する

library.vuforia.com

Vuforia Area Target Generator でのスキャンデータ取り込み

Vuforia Area Target Generator で Matterport のスキャンデータを取り込む際は Matterportの API を利用するが、既定では無効になっているため「beta-platform@matterport.com」に問い合わせをしてアカウントの API を有効にする ( 参 考 : https://support.matterport.com/hc/en-us/articles/360041976053-Start-Using-theMatterport-API-Today- )

お問い合せ

Vuforia Area Targetを利用した空間ARについてご興味あればお問い合せください。

hololab.co.jp

AzureKinect DK USBケーブル動作実績

Azure KinectのUSBケーブル動作実績をまとめています。

  • 2020/04/05 公開

スプレッドシートにもまとめています。 docs.google.com

現状でホロラボとしのて知見は下記となります。

  1. データケーブルを延長する場合はType Aケーブルを使用する
  2. 電源側はUSBケーブルではなくコンセント側を延長する
    • USBケーブルを延長すると減衰して必要電圧に満たない場合がある

参考サイト

www.newnex.com

動作確認済み Type-A オス to Type-A メス データ用延長ケーブル

メーカー 品番 規格 端子 長さ 電源供給 備考
Newnex UL-EX-10M USB 3.1 Gen. 1 Type-A オス to Type-A メス 10m なし
Newnex UL-EX-16M USB 3.1 Gen. 1 Type-A オス to Type-A メス 16m なし

動作確認済み ケーブル

メーカー 品番 規格 端子 長さ 補助電源 備考
Newnex FIRENEX-ULC-8 USB 3.1 Gen. 1 Type-A to Type-C 8m 必要
Newnex FIRENEX-ULC-16 USB 3.1 Gen. 1 Type-A to Type-C 16m 必要
Newnex UL-C21C11-8M USB 3.1 Gen. 1 Type-C to Type-C 8m 必要 注1
Newnex UL-C21C11-16M USB 3.1 Gen. 1 Type-C to Type-C 16m 必要 注1
Anker AK-A8485011 USB 3.1 Gen.2 Type-C to Type-C 0.9m 不要 注2
Cable Matters 107002-BLK-2m Thunderbolt 3 Type-C to Type-C 2m 不要 注2
Newnex UL-C21C31-10M USB 3.1 Gen. 1 Type-C to Type-C 10m 不要 注1、注3

動作対応製品(未確認)

メーカー 品番 規格 端子 長さ 補助電源 備考
Newnex UL-C21C31-10M USB 3.1 Gen. 1 Type-C to Type-C 10m 不要 注1、注3

動作しなかった/不安定(確認済み)

メーカー 品番 規格 端子 長さ 備考
Kaweno KI-0009 USB 3.1 Gen2 Type-C to Type-C 3m 注4

動作しなかった/不安定(未確認)

メーカー 品番 規格 端子 長さ 備考
Oculus Oculus Link ケーブル USB 3.1 Gen1 Type-C to Type-C 5m

注記

注1

  • 端子が長いが、差し込み部分が短いためちょっとした応力で故障しやすいです
    • TypeCのケーブルはポートも壊しそうなので、TypeAでの延長をおすすめします
  • このケーブルには指向性があります。青をホスト側、黒をデバイス側に接続してください
  • f:id:kaorun55:20200405150742p:plain

注2

  • ノートパソコンでは電源供給能力が不足するため補助電源が必要になるかもしれない

注3

  • UL-C21C11-8M/16Mの新製品です。USB PDに対応してAzure Kinectに1本で通信/給電が可能なケーブルです。補助電源が不要になります。

注4

  • 電源無しで使えるが、映像が乱れる等動作が不安定になる場合がある

その他

  • マザーボード（ASUS PRIME Z390-A）のUSB Type-CポートにAzure Kinectを接続した場合、 通電復帰時にパソコンを自動起動する設定では起動時にUSBの初期化に失敗する現象を確認しています。 電源ボタンを押してパソコンを通常起動する場合は正常に動作します。

MRTK v2.2の Settings prompt (セッティングプロンプト)について

HoloLens 2 MRTK v2 N

MRTK v2.2の Settings prompt (セッティングプロンプト)が急に表示されなくなりました。別のPCでは表示されるので固有のPCの問題のようです。

f:id:kaorun55:20200210192011p:plain

社内で聞いてみたところUnity Editorの

[Eidt → Project Settings → Mixed Reality Toolkit → Ignore settings prompt on startup]

にチェックが入っているとのこと。このチェックが入っているとプロンプトの表示がスキップされるようです。

f:id:kaorun55:20200210192119p:plain

この設定はUnity Editorをまたぐようで、一度MRTKでIgnoreすると永続的にIgnore状態になるようです。

実際にこの状態でIgnoreすると「Ignore settings prompt on startup」にチェックが入るんですね。

f:id:kaorun55:20200210192304p:plain

f:id:kaorun55:20200210192305p:plain

再度チェックを外しましょう。

f:id:kaorun55:20200210192119p:plain

HoloLensのフロントエンドとしてのPowerApps

HoloLens 2 Power Platform Power Apps

HoloLens 2とPower Appsを組み合わせてみました。

Power Appsに個別識別用のパラメーターを付加したURLをHoloLensで読み取り、ブラウザでPower Appsを起動する。

これによってHoloLensの課題である位置合わせが不要になります。またオブジェクト認識だけでは難しい個別の認識もパラメーターで行うことができます。