ブログ@HoloLabInc

株式会社ホロラボのブログです

書籍「HoloLens 2 入門」を書きました

ユーザー向けの入門として書籍「HoloLens 2 入門」を書きました。

f:id:kaorun55:20200614140734j:plain:w300
カバー

書籍に関する記事として下記も参照してください

Amazonのサイトはこちらです

書籍の内容

読者の対象は企業のユーザーさんを想定しているため、HoloLens 2の概要、事例、セットアップ、運用、アプリの使い方が中心です。アプリ開発に関する要素はありません。

目次は下記のようになっています。

  1. HoloLens 2とMR(Mixed Reality)の概要
  2. HoloLens 2のセットアップ
  3. HoloLens 2の基本的な使い方
  4. HoloLens 2におけるアプリとデバイスの利用
  5. Dynamics 365アプリの使い方
  6. 開発者モードとデバイスポータル

最初にHoloLens 2とはから始まり、事例の紹介、アプリの紹介、アプリを開発するには(Unity, UE4の紹介のみ)、アプリ開発を依頼するには(MRPPの紹介)、HoloLens 2のハードウェアの解説を行っています。

続いてセットアップについて、手動および半自動セットアップの手順、運用についてはMDM(Intune)の紹介をしています。最初に一台から始めるセットアップおよび運用と、業務展開したときのそれはことなります。また、HoloLens 2のリセットについてもいくつの種類があるので解説をしています。

セットアップが終わると実際に使えるようになります。最初のスタートメニューの出し方から、アプリの起動と終了、静止画や動画の撮影方法、設定アプリの一覧を解説しています。ここまででHoloLens 2の基本的な操作を覚えることができます。

操作ができるようになったら、インストールされているさまざまなアプリを使用します。プリインストールされているアプリも何種類かあり、ストアからもダウンロードできるので、いろいろなアプリを使ってみましょう。 さらにHoloLens 2ではUSBデバイスを扱えるようになったで、こちらで確認しているいくつかのデバイスについて紹介しています。

アプリの使い方になれたらDynamics 365のMixed Realityアプリ(Remote AssistおよびGuides)を使用して、業務への適用を考えてみます。Remote AssistおよびGuidesはそれぞれ遠隔作業支援および現場作業支援のアプリとなっており、HoloLens 2でよくあるシナリオをサポートします。

最後にデバイスポータルという機能を使って、HoloLens 2をより深く使ってみます。HoloLens 2のハードウェア状況をモニタリングしたり、ストア以外からのアプリインストール、静止画や録画の再生などを外部のPCなどから確認・制御できます。

概要

書籍概要

項目 内容
書名 HoloLens 2入門
~遠隔や現場での作業/訓練支援に活用できるMixed Realityデバイス~
著者 中村 薫
定価 本体 2,970円(税込)
ISBN 978-4-8222-9693-3
発売日 2020年6月18日
発行元 日経BP
判型 B5変型
ページ数 252ページ
本書についての詳細 https://www.nikkeibp.co.jp/atclpubmkt/book/20/P96930/
Amazonページ https://www.amazon.co.jp/dp/4822296938

書籍に関するお問い合わせ

日経BP

〒105-8308 東京都港区虎ノ門4丁目3番12号

URL:https://nkbp.jp/booksQA

mixpaceの使い方紹介動画を色々作ってみました

弊社が開発・提供している3DCAD/BIM・3DCGファイルのAR/MRみえる化ソリューション「mixpace」をご存じでしょうか。

mixpaceとは

mixpace(ミクスペース)は3DCADやBIMで作成した設計データを自動でAR/MR用データに変換してHoloLens 2 ・iPadで表示する、製造業・建設業向けソリューションです。 https://mixpace.jp/

f:id:iwamocchan:20200608175252p:plain

サービスはデータ変換サービスをクライアントアプリ(HoloLens 2 ・iPad)で構成されています。

シンプルな手順でリアルな空間にバーチャルなオブジェクトを重ね合わせてレビュー・検証・デモなどの用途に活用いただけます。

mixpaceクライアントアプリ

Microsoft Store、AppStoreで無料公開されています。

ユーザー契約が無くてもアプリ内に含まれているサンプル3Dデータを使って操作と表示をお試しいただけます。

使い方紹介動画

とはいってもアプリに対応したデバイスをお持ちでなかったり、ダウンロードして試す余裕がない方もいらっしゃるので、mixpaceの機能や使い方をまとめた動画を作ってみました。

3DデータのAR・MR表示やアプリの操作性をつかんでいただけるかと思います。

HoloLens 2 の使い方紹介動画

mixpaceアプリ の使い方紹介動画

mixpaceを使った3Dデータ表示ノウハウの紹介動画

お問い合わせ先

mixpaceの販売は共同開発パートナーのSB C&S 株式会社が行っています。

60日間@92,000円(税別)で3Dデータ変換・HoloLens 2 アプリ・iPadアプリの全ての機能をお試しいただけるトライアルプランも提供していますので、是非ご自身で作成した3DデータのAR・MR活用をお試しください。

biz.cas.softbank.jp

Matterportを利用して事務所の3Dスキャンを試してみた

Matterport というカメラとサービスを利用して、事務所を3Dスキャンしてみました。

スキャンされた部屋はこちらから見られます。

準備と費用

準備するものは、サポートされているカメラと、スキャンデータ構築のためのサービスです。

カメラはiPhoneやRICOH THETAのような360度カメラでの撮影と、Matterport Pro2やLeica BLK360の奥行きが取れるカメラでの撮影の2つがあります。Matterport Pro2やLeica BLK360での撮影の場合、空間の閲覧のほかに、あとで3Dモデルをダウンロードして利用することが可能です。

3D Cameras & iPhone Capture App | Matterport

サービスの価格については、無償からいくつかのパターンがあります。Matterport Pro2を利用した3Dスキャンを活用する場合は月額$69のProfessional Plans以上が必要です。このほか3Dモデルをダウンロードして利用する場合には、スキャンデータあたり$49のMatterPak が別途必要です。

Matterport Price List – Help Center

撮影

Matterport Pro2で撮影する場合は、このような形で三脚にカメラを設置します。撮影はiOSのアプリから行います。

撮影は2m間隔を推奨しており、約50坪(160m2)ほどの事務所での撮影時間は約1時間でした。

f:id:kaorun55:20200603133847j:plain

MatterPak(追加費用) でのデータダウンロード

MatterPakを利用するとスキャンデータの3Dモデルがダウンロードできるようにます。データ形式はobj(メッシュ)およびxyz(点群)です。

f:id:kaorun55:20200604003528p:plain
obj形式のメッシュデータ

f:id:kaorun55:20200604003937p:plain
xyz形式の点群データ

スキャンデータの活用

部屋の閲覧

空間スキャンした部屋の閲覧に利用できます。不動産の内覧や、博物館のスキャンの利用事例があります。

Vuforia Area Target

Vuforia というソフトウェアを利用してARの空間位置合わせに利用できます。

blog.hololab.co.jp

cluster

cluster というバーチャルイベントサービスに、Matterport で撮影した3Dモデルをアップロードすることで、イベントなどに利用できます。

cluster.mu

スキャンのご依頼

有償にてスキャンのご依頼も承りますので、下記よりお問い合わせください

hololab.co.jp

AIとAzure Kinectでどこでもグリーンバックを実現する「Virtual Stage」を試してみた

コロナ禍でイベントがバーチャル化するなか、いままでのオフラインイベントのようなステージ上での講演のような動画を作成できる「Virtual Stage」が発表されました。なお、リアルタイムではなく録画データを使用した後処理になります。

www.youtube.com

オープンソースなので機材を準備すれば誰でも同じ動画を作成することがきでます。

github.com

実際に作ってみた動画がこちらです

www.youtube.com

撮影環境はこのようになっています。真っ白な壁に向かってAzure Kinectで撮影します。

f:id:kaorun55:20200601001417j:plain

環境

環境はこのようになっています(画像はGitHubより引用) PCにAzure Kinectを2台接続しています(なお、Azure Kinectは1台でも最後まで動作します)

f:id:kaorun55:20200601001525p:plain

この環境で「Speaker.Recorder」を起動すると、Azure Kinectの録画(カラー、深度)と、PowerPointのスライド録画と音声が、それぞれ記録されます。

f:id:kaorun55:20200601001611p:plain

撮影したAzure Kinectの録画データを「Background Matting」というソフトウェアを使用して背景の除去を行います。

f:id:kaorun55:20200601001628p:plain

「Background Matting」は下記をベースに、Azure Kinectの深度データを使って除去の精度を向上させているようです。

grail.cs.washington.edu

撮影手順

撮影の手順は大きく下記のようになります。

流れ

準備

  • ハードウェア
    • NVIDIAのGPUが搭載されたPC
      • Azure Kinect BodyTracking SDKを使用しているためNVIDIAのGPU(CUDA)が必要です
    • Azure Kinect
  • 各種ソフトウェアのインストール
    • 「Speaker.Recorder」のビルドに必要なソフトウェアの設定
    • 「Background Matting」の実行に必要なソフトウェアの設定

撮影

  • 「Speaker.Recorder」で講演を記録します
  • 「Background Matting」で講演者の背景を除去した動画を作成します
  • 背景が除去された動画を使用して、講演動画を作成します

準備

GitHubからプロジェクトをダウンロードします。

github.com

Speaker.Recorder

「Speaker.Recorder.sln」を開き「Speaker.Recorder」をスタートアッププロジェクトに設定してビルドします。

f:id:kaorun55:20200601002716p:plain

ビルド環境は下記になります。

  • Windows 10 64 ビット版 version 1903 以降
  • Windows 10 SDK 10.0.18362
  • Visual Studio 2019 16.5.5

アプリケーションの実行には下記が必要です

Background Matting

Background MattingはPythonのスクリプトです。ここでAzure Kiectの録画データを使って背景除去を行います。

環境構築はちょっと手間がかかります。

  • Windows 10 x64 と NVIDIA のグラフィックカード
  • NVIDIA CUDA 10.0 と NVIDIA CudNN をインストールする(CudNNはcudnn64_7.dllを「BackgroundMatting」フォルダにコピーする)
  • Conda 環境のインストール

    • minicondaをインストールする
    • PowerShellでBackgroundMattingフォルダへ移動し初期化と環境設定を行う

    conda init exit conda env create -f .\environment.yaml

  • OpenCV 4.3.0

    • OpenCV 4.3.0 をダウンロードする
    • 3rdparty/opencv フォルダに展開する(訳注: ほかの環境でも利用する場合はCドライブ直下などでパスを通した方がよい)
    • [ROOT]\3rdparty\opencv\build\x64\vc15\bin にパスを通す
  • FFMPEG 4.2.2
    • ffmpeg 4.2.2 をダウンロードする
    • 3rdparty/ffmpeg-4.2.2 フォルダに展開する(訳注: ほかの環境でも利用する場合はCドライブ直下などでパスを通した方がよい)
    • [ROOT]\3rdparty\ffmpeg-4.2.2\bin にパスを通す
  • Visual C++ Redistributable
  • 推論モデル
    • 推論モデル をダウンロードする
    • 「BackgroundMatting」の Models\ フォルダに配置する
  • Azure Kinect SDK 1.4.0
    • ダウンロード してインストールする
    • 環境変数 PATHC:\Program Files\Azure Kinect SDK v1.4.0\sdk\windows-desktop\amd64\release\bin フォルダを追加する
  • Azure Kinect Body Tracking SDK 1.0.1
    • ダウンロード してインストールする
    • 環境変数 PATHC:\Program Files\Azure Kinect Body Tracking SDK\sdk\windows-desktop\amd64\release\bin フォルダを追加する

撮影

最初に「Speaker.Recorder」で講演の記録を行います。

「Speaker.Recorder」を実行すると、PowerPointの選択(必要な場合)、背景の記録、撮影、後処理の順で進んでいきます。

講演に使用するPowerPointファイルを指定すると、スライドと音声が記録された動画もAzure Kinectの録画ファイルと一緒に生成されます。

f:id:kaorun55:20200601003721p:plain

PowerPointファイルを開いた時にこのようなエラーがよく発生します。アプリを再起動して直ることもありますが、場合によってはスライドを作り直す必要もあるかもしれません。

f:id:kaorun55:20200601003739p:plain

録画が完了するとドキュメントフォルダの「Recorded Sessions」に記録された動画が保存されます。

  • kinect0.mkv: Azure Kinectの録画データ(mkvファイル)
  • presentation.mp4: スライドと音声の動画
  • slides.pptx: 実際のスライドファイル

f:id:kaorun55:20200601004101p:plain

続いて「Background Matting」を実行します。「BackgroundMatting」フォルダの「run.ps1」が実行用のスクリプトです。

これを開くと下記のようになっています。--input および --outputを指定します。 全体を変換する場合 --startおよび--durationは削除します(この時「--fixed_threshold "640," ’」の最後の「’」は削除します)。

conda activate bgmatting
$Env:CUDA_VISIBLE_DEVICES=0
python .\bg_matting.py `
  --name "Speaker" `
  --input D:\Speaker\ `
  --output_dir D:\Speaker\output\ `
  --fixed_threshold "640," `
  --start 34 `
  --duration 234
conda deactivate

スクリプトが正常に終了すると --output で指定したフォルダに背景除去された動画が生成されます。

f:id:kaorun55:20200601005937p:plain

  • kinect0_color_Speaker.mp4: オリジナル動画
  • kinect0_matte_Speaker.mp4: 背景が除去された動画
  • kinect0_out_Speaker.mp4: マスク動画

編集

kinect0_matte_Speaker.mp4を動画編集ツールなどでグリーンバック動画として利用します。

完成した動画がこちら。背景やスライドの重ね合わせについては、いろいろアイデアがでそうですね。

www.youtube.com

参考

元の動画を並べたもの

www.youtube.com

背景除去を行った動画

www.youtube.com

編集後1

www.youtube.com

編集後2

www.youtube.com