ブログ@HoloLabInc

株式会社ホロラボのブログです

Mixed Reality/空間コンピューティングや3Dデジタルアーカイブの最前線をお届け。「HoloLab Conference 2024」を4/18(木)に開催! #HoloConf24

Mixed Reality/空間コンピューティングやデジタルツイン、メタバース、BIM/3D CAD/3D CG/点群などの3Dデータ活用に向けた情報・事例共有を行う場として、2024年4月18日(木)に「HoloLab Conference 2024」を開催します。

イベントの開催背景

「HoloLab Conference」はホロラボとともに新しい技術をいち早く使いこなす企業様と、それを支えるエンジニアの経験を広く共有し繋がり、より多くの人たちがこれらの技術を体験できるようにすることを目的とした「場」です。

各企業様とホロラボが取り組みを進めてきたMixed Realityの実⽤に向けた取り組みや、BIM/3D CAD/3D CG/点群のような3Dデータ活用に向けた取り組み、GPS/VPS(Visual Positioning System)/PLATEAUのような空間情報技術活⽤に向けた取り組みの事例共有の場として「HoloLab Conference 2024」を開催します。

昨年の様子

イベント概要

  • 開催日時:2024年4月18日(木)10:00-19:00
  • 開催形態:ハイブリッド方式  ※現地来場は完全招待予約のため一般の方の現地参加はできません。
  • オンライン会場:Zoom
  • 参加費用:無料(事前申込制)
  • 主催:株式会社ホロラボ

参加対象

  • Mixed Reality/空間コンピューティングに興味関心があり実導入に向けて活動中の企業/個人
  • BIM/CAD/PLATEAUなど3Dデータ活用に興味関心があり実導入に向けて活動中の企業/個人
  • デジタルアーカイブの制作/活用に興味関心のある企業/個人

お申込み

オンライン一般参加をご希望される方は、下記ページよりお申込みください。 https://connpass.com/event/311388

オンライン一般参加について

オンライン一般参加では、Zoomでのリアルタイムセッション視聴/質疑応答が可能です。

※当日のセッション視聴方法についてはお申し込みいただいた方に別途ご案内させていただきます。

セッション概要

実用に向けた取り組みをされている各社様とホロラボ合同の事例セッションと、基盤技術や技術調査などについての技術セッションの2種類のセッションを実施します。セッションは2タイムテーブルの進行で合計で最大15セッション程度を予定しています。

また、後日セッションをアーカイブ動画として公開する予定ですが、映像や音声へ編集が入る場合や一部セッションについては公開無しになる場合があります。ぜひリアルタイムでご参加ください。

本イベントについてのお問い合わせ

株式会社ホロラボ イベント窓口:event@hololab.co.jp

樹木モデル公開のお知らせ

高精度の地上型3Dレーザスキャナによって計測されたデータ(点群データ:PointCloud)を基に作成された3D樹木モデルデータをboothのホロラボショップにて無料配布しています。

ホロラボ モデルショップ - BOOTH

弊社依頼時のクオリティサンプルとしてお手元でぜひご確認ください!

現在公開中のモデル

第1弾:樹木モデル「ケヤキ」

hololab.booth.pm

第2弾:樹木モデル「カエデ」

hololab.booth.pm

第3弾:樹木モデル「サクラ(ソメイヨシノ)」

hololab.booth.pm

モデルの特徴

本手法によって作成される3D樹木モデルは実測に基づいており、かつ、樹木の点群データから3Dモデル化を行うためのアルゴリズムの使用により、実物に近い樹形の再現性を可能としております。

また、季節ごとの差分モデルによって、同じ樹木でも季節による違いを視覚的に確認することができます。

問い合わせ先

今回の樹木モデルをはじめ、空間スキャンやフォトグラメトリ・デジタルアーカイブ、デジタル空間&体験デザインなどの空間情報技術に特化したメンバーが在籍しています。

撮影からデータ整備、コンテンツ制作までを一貫して担当することができますので、ご興味ある方は下記よりお問い合わせください。

hololab.co.jp

Unityで手軽に使える画像認識パッケージのHoloLab DNN Packagesを公開しました。

ホロラボの杉浦です。

このたび、Unityで手軽に使える画像認識パッケージのHoloLab DNN Packagesを公開しましたのでご紹介いたします。
HoloLab DNN Packagesは以下のリポジトリで公開されています。

HoloLab DNN Packages

HoloLab DNN Packages

HoloLab DNN PackagesはUnity Sentisをベースにディープラーニングによる画像認識を実装したパッケージ集です。
本パッケージには以下の特徴があります。

  • クラス分類(MobileNetなど)やオブジェクト検出(YOLOX)などの画像認識が実装済みで手軽に利用できる
  • APIは画像を入力するだけで認識結果が出力されるため、面倒な前処理や後処理を記述する必要が無く簡単に利用できる
  • Unityがサポートする全てのプラットフォームにデプロイできるので、HoloLens 2やMagic Leap 2にも画像認識を組み込める
  • ONNXフォーマットの学習済みモデルを準備することで、目的の画像認識をアプリに組み込むことができる
  • Unity Package Managerを利用して簡単に自分のプロジェクトにセットアップできる
  • ライセンスはMIT License、ソースコードは公開されているので商用利用で扱いやすい

クラス分類

オブジェクト検出

セットアップ

HoloLab DNN Packagesをセットアップする方法を紹介します。

HoloLab DNN Packagesはベースとなる1つのパッケージと画像認識のタスクが実装されたいくつかのパッケージで構成されています。
それぞれのタスクのパッケージはベースのパッケージに依存するので、ベースのパッケージとセットでインポートしてください。
パッケージのURLはそれぞれのパッケージのREADMEを参照してください。

  1. Unityのメニューから[Window]>[Package Manager]を開きます。
  2. Package Managerの左上にある[+]>[Add package from git URL]から利用したいパッケージのURLを入力します。
  3. [Add]ボタンを押してパッケージをプロジェクトに取り込みます。

ベースパッケージの導入

タスクパッケージの導入

サンプル

HoloLab DNN Packagesのそれぞれのタスクのパッケージには直ぐに実行できる簡単なサンプルが含まれています。
ここでは、サンプルの実行方法を簡単に紹介します。

  1. Unityのメニューから[Window]>[Package Manager]を開きます。
  2. Package Managerでタスクパッケージを選択します。
  3. 右カラムの[Samples]タブを開き、サンプルの[Import]ボタンを押します。

サンプルのインポート

UnityのProjectウィンドウのSamplesフォルダにサンプルがインポートされます。
Scenesフォルダに含まれているシーンに切り替え、Unityの[Play]ボタンを押して実行してください。

サンプルは画像とボタンが1つずつ配置されたシンプルな画面になっています。
画像の下にある[Inference]ボタンを押すと推論が実行されて結果が表示されます。
(初期化があるので初回の実行のみ少し時間が掛かる可能性があります。)

サンプルの実行

スクリプト

基本的に以下の流れで画像認識を実装できるようになっています。

  1. 名前空間を参照する

     using Unity.Sentis;
     using HoloLab.DNN.Classification;
    
  2. クラスのインスタンスを作成する

     [SerializeField] private ModelAsset weights;
     var model = new ClassificationModel(weights);
    
  3. 利用する学習済みモデルに合わせてパラメータを設定する

     model.SetApplySoftmax(true);
    
  4. メソッドに画像や閾値を渡して実行する

     (var class_id, var score) = model.Classify(texture);
    

このように、HoloLab DNN Packagesを利用することで、ユーザーはわずか数行の記述で目的の画像認識を実装することができます。
スクリプトからの詳しい利用方法は、それぞれのサンプルのソースコードを参照してください。

まとめ

Unityで手軽に使える画像認識パッケージのHoloLab DNN Packagesを紹介しました。
HoloLab DNN Packagesを利用してアプリに画像認識を組み込んでみてください。

Apple Vision Pro を購入しました!

Apple Vision Pro購入できました

CEOの中村です。

そろそろ Apple Vision Pro の米国発売から一週間経ちます。ホロラボもハワイにて Apple Vision Pro を無事に購入できました。

バックアップ及び空間共有機能のテストを含めてとりあえず2台。

ハワイ Ala MoanaのApple Storeにて受け取り。予定が16:30だったのですが、店員さんと会話して10:00に前倒し。

受け取りして同じくハワイに購入に来ていたジャーナリストの西田さんのところにお邪魔して場所を借りつつ開封の儀。

粛々とセットアップを行なっていました。

ファーストインプレッション

単体のハードウェア

単体のハードウェアとしての出来上がりは流石のApple品質。というところで、体験や操作をしてて「あれ?」というような引っかかりもなく、とても良いものと感じています。

ディスプレイ性能もよくコンテンツはドットも見ない高品質に表示され、ビデオシースルーも歪みやズレも少なくApple Vision Proを装着したまま室内の移動やスマートフォンの操作などができるほどです。

操作についても目で選択して、指のタップで選択。という他のデバイスに近い操作体系で特に迷うこともなく。

初見の方の場合は「目の操作」、「指でタップ」は慣れるまで難しいので、少し練習が必要です。ここはHoloLens 2などと同じですね。

アプリは現状では米国で公開されているアプリのみになりますが、 Apple Vision Pro 専用アプリのみならず、iOS/iPad OSのアプリとして公開されているものも(パブリッシャーの指定があれば)インストールしての利用が可能です。

左(最初)の画像が Apple Vision Pro専用アプリ、右(次)が iOS/iPad OS 互換アプリになります。

XやCatGPTなどの2Dで十分なアプリは、今までのアプリをそのまま利用可能になり、最初のアプリ数の壁を超えています。

仕事の環境として。という意味では、Microsoft TeamsやPower Point、 Excel、WordといったOfficeアプリはApple Vision Proのネイティブアプリとして公開されています。Outlook、OneNoteはiOS/iPad OS互換アプリとしてストアからインストールできます。

Bluetoothキーボードの接続もできるので、Apple Vision Proを装着しながら外部キーボードと合わせて業務が可能ですね。

EyeSight について

Apple Vision Pro には外側にもディスプレイが付いており、自分の目の周辺を表示できます。

「ペルソナ」という機能でこのようにApple Vision Pro を持って自分で自分の顔をスキャンします。

賛否それぞれの感想を見ますが、個人的にはEyeSight は好きです。

Meta Quest 3など、今までのビデオシースルーでの経験で、HMD(Head Mounted Display)を装着している方は相手の表情が見えるけど、装着してない方は相手(装着している方)の表情が見えない関係だったので、力技にせよ同じような見え方になるのはより現実のコミュニケーションに近づくと考えています。

Apple のハードウェアエコシステムの一つとしての Apple Vision Pro

Apple Vision Proはハードウェア単体でも高品質なデバイスですが、Appleの製品ということでAppleのハードウェア、ソフトウェアの中に入ってこそ本領発揮だと考えています。

最初にApple Vision Proで体験している光景を共有したり、他の方が体験している様子を見たい時には、Apple Vision Proがら見えている様子をどこかに表示させたくなります。

いきなりここでAppleのいままでの流れと同じことができ、AirPlayにてApple TVでの表示が可能です。iOS/iPad OS 17以降ではiPhone/iPadをAirPlayレシーバーとして設定する機能もありますので、Apple TVがない場合でも、iPhone/iPadで表示が可能です。

Apple Vision Proの画面をiPadに転送している様子(Apple Vision Proで見ている光景(iPadやアプリ)がiPad上にも表示されている)

また、いままでのデバイスで意外と手間がかかっていたファイルの共有についてはAirDropでの転送が可能です。

AirDropはApple Vision Pro, iPhone, iPad, Mac間でそれぞれファイルの転送が可能で、これを利用すると下記のようにiPhoneでスキャンしたデータをすぐさまApple Vision Proに転送して利用する。ということが可能になります。

ここからの派生として、Appleデバイス間で共通の「USDZ」という3Dを表現するファイル形式があります。

元々映画制作のPixerが定義したUSDというフォーマットで、Apple製品ではこの派生フォーマットであるUSDZをOSで扱うことができます。

iOS/iPad OSではAR Quick LookとしてモデルビューアーやARにて表示できます。

developer.apple.com

Apple VIsion ProでももちろんUSDZがサポートされており、先ほどのようにiPhoneのLiDARで3Dスキャンした3DモデルをUSDZでAirDropでApple Vision Proに転送することにより、すぐさま実寸でモデルの確認ができます。

最初にも書いた通り、ディスプレイはとてもキレイですので、高品質な3Dモデルが高品質なまま閲覧体験が可能です。

AirPods Proとの連携も強力で、AirPods Proでは外音を遮断できます。飛行機の中でも飛行音が聞こえなくなるほどです。

Apple Vision Proは視覚を遮断できるデバイスです。カメラから映像を中のディスプレイに表示するビデオシースルーという方式のため、ディスプレイの映像をカメラではなくコンピューターで作成した空間にすることで、視覚の外界との接点を切ることができます。

この2つを組み合わせることで、視覚と聴覚を外界から切り離し、体験に没入することが可能になります。

この体験には「Mindfulness」というアプリがおすすめです。

このほかにもMacをApple Vision Proに接続してディスプレイにできる「Mac Virtual Display」により、MacをApple Vision Pro内で使うことができます。

Apple Vision Pro単体では対応していないアプリや作業などはMacを併用することでApple Vision Pro内で完結することができます。

日本版販売後の展望

このようにApple Vision Proはハードウェア単体でも、Appleエコシステムの中でもいままでとは違った使い方、体験ができるデバイスと考えています。

今後日本で発売された後はそれぞれの環境に合わせた使い方が可能です。

Apple製品を多数お持ちの方はAppleハードウェアエコシステムの恩恵を受けながら。

Apple製品をあまりお持ちでない方はApple Vision Proから。

Apple Vision Proからの場合は、キーボード、Magic TrackPad、AirPods Proを合わせて持っておくと、Apple VIsion Proで完結する環境ができて良いでしょう。

ホロラボでのApple Vision Proへの取り組み

ホロラボでももちろんApple Vision Proのアプリ開発に取り組みます。

最初のアプリとして「Spatial Paint」という空間ペイントのアプリケーションを米国App Storeにて公開しました。

Spatial Paint

Spatial Paint

  • HOLOLAB INC.
  • グラフィック/デザイン
  • 無料
apps.apple.com

このアプリは文字通り空間にお絵かきができるアプリで、VRアーティストのせきぐちあいみさんとコラボレーションを進めていきます。

もちろんApple VIsion Proをお持ちの全ての方に使っていただけますので、ぜひインストールしてください。

「Spatial Paint」はいままでのホロラボの取り組みと異なるとようにも見えますが、HoloLensでペイントアプリ作ってせきぐちさんとコラボレーションしてるメンバーがいて、これをApple Vision Proに合わせてアプリリリースをする。という経緯です。

Apple Vision Pro自体もコンシューマーに向いており、これを機に空間の中でコンピューター扱うというユーザーが増えると考えています。

その中で空間で「絵を描く」というシンプルですが、わかりやすいテーマでのアプリ。としています。

また、Apple Vision Proはデバイス単体ではなく、コミュニケーションを重視していると考えていますので、描いたモデルはUSDZで出力し、共有することが可能です。

これによって、ユーザーは自分が描いたモデルを共有し、お互いに楽しむことができます。もちろんiOS/iPad OSの方もそこに加われます。

いままでのサービスの延長もあります。

ホロラボにて提供しているBIM/CAD向けサービスであるmixpaceのApple Vision Pro版を日本発売に向けて準備を進めています。

Apple Vision Proでの高品質なディスプレイにより、いままでとは違った体験になりますので、登場をお待ちください。

まとめ

空間コンピューティングの自分なりの解釈として、空間とコンピューターが日常世界で共存する世界、Apple Vision Proを日常から使い続ける世界に変わっていくと、いままでの生活スタイルも少しずつ変わっていくのかなと考えています。

技適特例申請も提出したので、この範囲内で試していきます。

技術書典15にて、「ホロらぼん Vol.2」を頒布しました。

ホロラボの於保です。

このたび、ホロラボの有志で技術同人誌「ホロらぼん Vol.2」を制作し、技術書典15で頒布しました。

イベントは終わりましたが、引き続きこちらのURLで無料で頒布していますので、 よろしければご一読ください。 メンバーそれぞれが今興味がある技術について書いたごった煮な技術同人誌となっています。

ホロらぼん Vol.2 表紙

目次

  1. M5 AtomS3でp-duckを愛でる M5 AtomS3という小さなデバイスでp-duckをSlackにスタンプするデバイスを作りました。

  2. みんなで街並みをスキャンする 街並みスキャンのスキャンソンについて。 イベント紹介やスキャンのコツなどを解説。

  3. C#でBSONデータを扱ってみよう C#でBSONシリアライズ形式を使うときのTipsなど。

よろしくお願いします。