ブログ@HoloLabInc

株式会社ホロラボのブログです

Vuforia Area Targetを試してみた

HoloLens 2 Vuforia N

Vuforia 9.0の新しい機能であるVuforia Area Targetを試してみました。Area Targetは空間認識の機能で、あらかじめ3Dスキャンしたデータをアプリ内に置くことで、そのスキャンデータと空間を比較し位置を合わせてくれる機能になります。

library.vuforia.com

HoloLensを装着して部屋に入ると瞬時にその部屋を認識して、Unityで配置した空間が復元されます。

空間のスキャンに$3,395 の Matterport Pro2 カメラが必要ですが、高精度な位置検出、位置合わせと考えると検討可能な範囲と考えています。

youtu.be

準備する環境

ソフトウェア

ハードウェア

空間のスキャンには Matterport 社のカメラおよびサービスを利用します。 必要なコストは以下の 3 つになります。

  • $3,395 の Matterport Pro2 カメラ
    • Vuforia Area Target で利用可能な Matterport カメラ。
  • $69/月以上のプラン
    • Matterport Pro 2 カメラで撮影したスキャンデータをモデル化するためのサブスクリプション契約。いくつかの種類があり、$69/月以上のプランが Matterport Pro2に対応している
  • $49 の MatterPak
    • Vuforia Area Target Generator が使用する Matterport のスキャン CG データ

撮影手順などのドキュメント

注意点

Matterport での撮影

Matterport カメラを配置し、iOS の Capture アプリで撮影を行う。スキャンは 2m ごとに行い、Matterport カメラの高さは 1.4m に設置する

library.vuforia.com

Vuforia Area Target Generator でのスキャンデータ取り込み

Vuforia Area Target Generator で Matterport のスキャンデータを取り込む際は Matterportの API を利用するが、既定では無効になっているため「beta-platform@matterport.com」に問い合わせをしてアカウントの API を有効にする ( 参 考 : https://support.matterport.com/hc/en-us/articles/360041976053-Start-Using-theMatterport-API-Today- )

お問い合せ

Vuforia Area Targetを利用した空間ARについてご興味あればお問い合せください。

hololab.co.jp

AzureKinect DK USBケーブル動作実績

Azure KinectのUSBケーブル動作実績をまとめています。

  • 2020/04/05 公開

スプレッドシートにもまとめています。 docs.google.com

現状でホロラボとしのて知見は下記となります。

  1. データケーブルを延長する場合はType Aケーブルを使用する
  2. 電源側はUSBケーブルではなくコンセント側を延長する
    • USBケーブルを延長すると減衰して必要電圧に満たない場合がある

参考サイト

www.newnex.com

動作確認済み Type-A オス to Type-A メス データ用延長ケーブル

メーカー 品番 規格 端子 長さ 電源供給 備考
Newnex UL-EX-10M USB 3.1 Gen. 1 Type-A オス to Type-A メス 10m なし
Newnex UL-EX-16M USB 3.1 Gen. 1 Type-A オス to Type-A メス 16m なし

動作確認済み ケーブル

メーカー 品番 規格 端子 長さ 補助電源 備考
Newnex FIRENEX-ULC-8 USB 3.1 Gen. 1 Type-A to Type-C 8m 必要
Newnex FIRENEX-ULC-16 USB 3.1 Gen. 1 Type-A to Type-C 16m 必要
Newnex UL-C21C11-8M USB 3.1 Gen. 1 Type-C to Type-C 8m 必要 注1
Newnex UL-C21C11-16M USB 3.1 Gen. 1 Type-C to Type-C 16m 必要 注1
Anker AK-A8485011 USB 3.1 Gen.2 Type-C to Type-C 0.9m 不要 注2
Cable Matters 107002-BLK-2m Thunderbolt 3 Type-C to Type-C 2m 不要 注2
Newnex UL-C21C31-10M USB 3.1 Gen. 1 Type-C to Type-C 10m 不要 注1、注3

動作対応製品(未確認)

メーカー 品番 規格 端子 長さ 補助電源 備考
Newnex UL-C21C31-10M USB 3.1 Gen. 1 Type-C to Type-C 10m 不要 注1、注3

動作しなかった/不安定(確認済み)

メーカー 品番 規格 端子 長さ 備考
Kaweno KI-0009 USB 3.1 Gen2 Type-C to Type-C 3m 注4

動作しなかった/不安定(未確認)

メーカー 品番 規格 端子 長さ 備考
Oculus Oculus Link ケーブル USB 3.1 Gen1 Type-C to Type-C 5m

注記

注1

  • 端子が長いが、差し込み部分が短いためちょっとした応力で故障しやすいです
    • TypeCのケーブルはポートも壊しそうなので、TypeAでの延長をおすすめします
  • このケーブルには指向性があります。青をホスト側、黒をデバイス側に接続してください
  • f:id:kaorun55:20200405150742p:plain

注2

  • ノートパソコンでは電源供給能力が不足するため補助電源が必要になるかもしれない

注3

  • UL-C21C11-8M/16Mの新製品です。USB PDに対応してAzure Kinectに1本で通信/給電が可能なケーブルです。補助電源が不要になります。

注4

  • 電源無しで使えるが、映像が乱れる等動作が不安定になる場合がある

その他

  • マザーボード（ASUS PRIME Z390-A）のUSB Type-CポートにAzure Kinectを接続した場合、 通電復帰時にパソコンを自動起動する設定では起動時にUSBの初期化に失敗する現象を確認しています。 電源ボタンを押してパソコンを通常起動する場合は正常に動作します。

MRTK v2.2の Settings prompt (セッティングプロンプト)について

HoloLens 2 MRTK v2 N

MRTK v2.2の Settings prompt (セッティングプロンプト)が急に表示されなくなりました。別のPCでは表示されるので固有のPCの問題のようです。

f:id:kaorun55:20200210192011p:plain

社内で聞いてみたところUnity Editorの

[Eidt → Project Settings → Mixed Reality Toolkit → Ignore settings prompt on startup]

にチェックが入っているとのこと。このチェックが入っているとプロンプトの表示がスキップされるようです。

f:id:kaorun55:20200210192119p:plain

この設定はUnity Editorをまたぐようで、一度MRTKでIgnoreすると永続的にIgnore状態になるようです。

実際にこの状態でIgnoreすると「Ignore settings prompt on startup」にチェックが入るんですね。

f:id:kaorun55:20200210192304p:plain

f:id:kaorun55:20200210192305p:plain

再度チェックを外しましょう。

f:id:kaorun55:20200210192119p:plain

HoloLensのフロントエンドとしてのPowerApps

HoloLens 2 Power Platform Power Apps

HoloLens 2とPower Appsを組み合わせてみました。

Power Appsに個別識別用のパラメーターを付加したURLをHoloLensで読み取り、ブラウザでPower Appsを起動する。

これによってHoloLensの課題である位置合わせが不要になります。またオブジェクト認識だけでは難しい個別の認識もパラメーターで行うことができます。

HoloLens 2のハードウェアリカバリー

HoloLens 2 N

HoloLens 2のソフトウェアリセットができなくなった場合はPCからリカバリーを行います。

docs.microsoft.com

HoloLens 1ではWindows Phoneと共用のWindows Device Recovery Toolを使用していましたが、HoloLens 2では専用のアプリが用意されています。

下記リンク先からストアを経由してWindows PCにインストールします。

www.microsoft.com

HoloLens 2とPCをUSBケーブルで接続してアプリを起動するとリカバリーが開始されます。

f:id:kaorun55:20200128013951p:plain

HoloLens 2とPCが接続できていない場合には下記のように表示されます。

f:id:kaorun55:20200128013958p:plain

HoloLens 2とPCが接続できているが、PC側からの検出ができない場合には下記のように表示されます。

f:id:kaorun55:20200128134328p:plain

接続が確認できるとリカバリーするOSバージョンが表示され、OSイメージをディスクまたはインターネットからダウンロードします。 2020/01/28現在でOSイメージは公開されていないので、インターネットからダウンロードします。

OSイメージの公開を教えてもらいました。

直リンク → https://aka.ms/hololens2download

docs.microsoft.com

ダウンロードされたOSイメージは

C:\Users\<ユーザー名>\AppData\Local\Temp\ARC\Downloads\<GUID?>

の下に置かれます。AppData以下を拡張子「*.ffu」で検索すると早いでしょう。

f:id:kaorun55:20200128013954p:plain

あとはダウンロード、インストール、再起動を待ちます。

f:id:kaorun55:20200128014029p:plain

f:id:kaorun55:20200128014043p:plain

f:id:kaorun55:20200128014058p:plain