ブログ@HoloLabInc

株式会社ホロラボのブログです

Unityで手軽に使える画像認識パッケージのHoloLab DNN Packagesを公開しました。

ホロラボの杉浦です。

このたび、Unityで手軽に使える画像認識パッケージのHoloLab DNN Packagesを公開しましたのでご紹介いたします。
HoloLab DNN Packagesは以下のリポジトリで公開されています。

HoloLab DNN Packages

HoloLab DNN Packages

HoloLab DNN PackagesはUnity Sentisをベースにディープラーニングによる画像認識を実装したパッケージ集です。
本パッケージには以下の特徴があります。

  • クラス分類(MobileNetなど)やオブジェクト検出(YOLOX)などの画像認識が実装済みで手軽に利用できる
  • APIは画像を入力するだけで認識結果が出力されるため、面倒な前処理や後処理を記述する必要が無く簡単に利用できる
  • Unityがサポートする全てのプラットフォームにデプロイできるので、HoloLens 2やMagic Leap 2にも画像認識を組み込める
  • ONNXフォーマットの学習済みモデルを準備することで、目的の画像認識をアプリに組み込むことができる
  • Unity Package Managerを利用して簡単に自分のプロジェクトにセットアップできる
  • ライセンスはMIT License、ソースコードは公開されているので商用利用で扱いやすい

クラス分類

オブジェクト検出

セットアップ

HoloLab DNN Packagesをセットアップする方法を紹介します。

HoloLab DNN Packagesはベースとなる1つのパッケージと画像認識のタスクが実装されたいくつかのパッケージで構成されています。
それぞれのタスクのパッケージはベースのパッケージに依存するので、ベースのパッケージとセットでインポートしてください。
パッケージのURLはそれぞれのパッケージのREADMEを参照してください。

  1. Unityのメニューから[Window]>[Package Manager]を開きます。
  2. Package Managerの左上にある[+]>[Add package from git URL]から利用したいパッケージのURLを入力します。
  3. [Add]ボタンを押してパッケージをプロジェクトに取り込みます。

ベースパッケージの導入

タスクパッケージの導入

サンプル

HoloLab DNN Packagesのそれぞれのタスクのパッケージには直ぐに実行できる簡単なサンプルが含まれています。
ここでは、サンプルの実行方法を簡単に紹介します。

  1. Unityのメニューから[Window]>[Package Manager]を開きます。
  2. Package Managerでタスクパッケージを選択します。
  3. 右カラムの[Samples]タブを開き、サンプルの[Import]ボタンを押します。

サンプルのインポート

UnityのProjectウィンドウのSamplesフォルダにサンプルがインポートされます。
Scenesフォルダに含まれているシーンに切り替え、Unityの[Play]ボタンを押して実行してください。

サンプルは画像とボタンが1つずつ配置されたシンプルな画面になっています。
画像の下にある[Inference]ボタンを押すと推論が実行されて結果が表示されます。
(初期化があるので初回の実行のみ少し時間が掛かる可能性があります。)

サンプルの実行

スクリプト

基本的に以下の流れで画像認識を実装できるようになっています。

  1. 名前空間を参照する

     using Unity.Sentis;
     using HoloLab.DNN.Classification;
    
  2. クラスのインスタンスを作成する

     [SerializeField] private ModelAsset weights;
     var model = new ClassificationModel(weights);
    
  3. 利用する学習済みモデルに合わせてパラメータを設定する

     model.SetApplySoftmax(true);
    
  4. メソッドに画像や閾値を渡して実行する

     (var class_id, var score) = model.Classify(texture);
    

このように、HoloLab DNN Packagesを利用することで、ユーザーはわずか数行の記述で目的の画像認識を実装することができます。
スクリプトからの詳しい利用方法は、それぞれのサンプルのソースコードを参照してください。

まとめ

Unityで手軽に使える画像認識パッケージのHoloLab DNN Packagesを紹介しました。
HoloLab DNN Packagesを利用してアプリに画像認識を組み込んでみてください。

Apple Vision Pro を購入しました!

Apple Vision Pro購入できました

CEOの中村です。

そろそろ Apple Vision Pro の米国発売から一週間経ちます。ホロラボもハワイにて Apple Vision Pro を無事に購入できました。

バックアップ及び空間共有機能のテストを含めてとりあえず2台。

ハワイ Ala MoanaのApple Storeにて受け取り。予定が16:30だったのですが、店員さんと会話して10:00に前倒し。

受け取りして同じくハワイに購入に来ていたジャーナリストの西田さんのところにお邪魔して場所を借りつつ開封の儀。

粛々とセットアップを行なっていました。

ファーストインプレッション

単体のハードウェア

単体のハードウェアとしての出来上がりは流石のApple品質。というところで、体験や操作をしてて「あれ?」というような引っかかりもなく、とても良いものと感じています。

ディスプレイ性能もよくコンテンツはドットも見ない高品質に表示され、ビデオシースルーも歪みやズレも少なくApple Vision Proを装着したまま室内の移動やスマートフォンの操作などができるほどです。

操作についても目で選択して、指のタップで選択。という他のデバイスに近い操作体系で特に迷うこともなく。

初見の方の場合は「目の操作」、「指でタップ」は慣れるまで難しいので、少し練習が必要です。ここはHoloLens 2などと同じですね。

アプリは現状では米国で公開されているアプリのみになりますが、 Apple Vision Pro 専用アプリのみならず、iOS/iPad OSのアプリとして公開されているものも(パブリッシャーの指定があれば)インストールしての利用が可能です。

左(最初)の画像が Apple Vision Pro専用アプリ、右(次)が iOS/iPad OS 互換アプリになります。

XやCatGPTなどの2Dで十分なアプリは、今までのアプリをそのまま利用可能になり、最初のアプリ数の壁を超えています。

仕事の環境として。という意味では、Microsoft TeamsやPower Point、 Excel、WordといったOfficeアプリはApple Vision Proのネイティブアプリとして公開されています。Outlook、OneNoteはiOS/iPad OS互換アプリとしてストアからインストールできます。

Bluetoothキーボードの接続もできるので、Apple Vision Proを装着しながら外部キーボードと合わせて業務が可能ですね。

EyeSight について

Apple Vision Pro には外側にもディスプレイが付いており、自分の目の周辺を表示できます。

「ペルソナ」という機能でこのようにApple Vision Pro を持って自分で自分の顔をスキャンします。

賛否それぞれの感想を見ますが、個人的にはEyeSight は好きです。

Meta Quest 3など、今までのビデオシースルーでの経験で、HMD(Head Mounted Display)を装着している方は相手の表情が見えるけど、装着してない方は相手(装着している方)の表情が見えない関係だったので、力技にせよ同じような見え方になるのはより現実のコミュニケーションに近づくと考えています。

Apple のハードウェアエコシステムの一つとしての Apple Vision Pro

Apple Vision Proはハードウェア単体でも高品質なデバイスですが、Appleの製品ということでAppleのハードウェア、ソフトウェアの中に入ってこそ本領発揮だと考えています。

最初にApple Vision Proで体験している光景を共有したり、他の方が体験している様子を見たい時には、Apple Vision Proがら見えている様子をどこかに表示させたくなります。

いきなりここでAppleのいままでの流れと同じことができ、AirPlayにてApple TVでの表示が可能です。iOS/iPad OS 17以降ではiPhone/iPadをAirPlayレシーバーとして設定する機能もありますので、Apple TVがない場合でも、iPhone/iPadで表示が可能です。

Apple Vision Proの画面をiPadに転送している様子(Apple Vision Proで見ている光景(iPadやアプリ)がiPad上にも表示されている)

また、いままでのデバイスで意外と手間がかかっていたファイルの共有についてはAirDropでの転送が可能です。

AirDropはApple Vision Pro, iPhone, iPad, Mac間でそれぞれファイルの転送が可能で、これを利用すると下記のようにiPhoneでスキャンしたデータをすぐさまApple Vision Proに転送して利用する。ということが可能になります。

ここからの派生として、Appleデバイス間で共通の「USDZ」という3Dを表現するファイル形式があります。

元々映画制作のPixerが定義したUSDというフォーマットで、Apple製品ではこの派生フォーマットであるUSDZをOSで扱うことができます。

iOS/iPad OSではAR Quick LookとしてモデルビューアーやARにて表示できます。

developer.apple.com

Apple VIsion ProでももちろんUSDZがサポートされており、先ほどのようにiPhoneのLiDARで3Dスキャンした3DモデルをUSDZでAirDropでApple Vision Proに転送することにより、すぐさま実寸でモデルの確認ができます。

最初にも書いた通り、ディスプレイはとてもキレイですので、高品質な3Dモデルが高品質なまま閲覧体験が可能です。

AirPods Proとの連携も強力で、AirPods Proでは外音を遮断できます。飛行機の中でも飛行音が聞こえなくなるほどです。

Apple Vision Proは視覚を遮断できるデバイスです。カメラから映像を中のディスプレイに表示するビデオシースルーという方式のため、ディスプレイの映像をカメラではなくコンピューターで作成した空間にすることで、視覚の外界との接点を切ることができます。

この2つを組み合わせることで、視覚と聴覚を外界から切り離し、体験に没入することが可能になります。

この体験には「Mindfulness」というアプリがおすすめです。

このほかにもMacをApple Vision Proに接続してディスプレイにできる「Mac Virtual Display」により、MacをApple Vision Pro内で使うことができます。

Apple Vision Pro単体では対応していないアプリや作業などはMacを併用することでApple Vision Pro内で完結することができます。

日本版販売後の展望

このようにApple Vision Proはハードウェア単体でも、Appleエコシステムの中でもいままでとは違った使い方、体験ができるデバイスと考えています。

今後日本で発売された後はそれぞれの環境に合わせた使い方が可能です。

Apple製品を多数お持ちの方はAppleハードウェアエコシステムの恩恵を受けながら。

Apple製品をあまりお持ちでない方はApple Vision Proから。

Apple Vision Proからの場合は、キーボード、Magic TrackPad、AirPods Proを合わせて持っておくと、Apple VIsion Proで完結する環境ができて良いでしょう。

ホロラボでのApple Vision Proへの取り組み

ホロラボでももちろんApple Vision Proのアプリ開発に取り組みます。

最初のアプリとして「Spatial Paint」という空間ペイントのアプリケーションを米国App Storeにて公開しました。

Spatial Paint

Spatial Paint

  • HOLOLAB INC.
  • グラフィック/デザイン
  • 無料
apps.apple.com

このアプリは文字通り空間にお絵かきができるアプリで、VRアーティストのせきぐちあいみさんとコラボレーションを進めていきます。

もちろんApple VIsion Proをお持ちの全ての方に使っていただけますので、ぜひインストールしてください。

「Spatial Paint」はいままでのホロラボの取り組みと異なるとようにも見えますが、HoloLensでペイントアプリ作ってせきぐちさんとコラボレーションしてるメンバーがいて、これをApple Vision Proに合わせてアプリリリースをする。という経緯です。

Apple Vision Pro自体もコンシューマーに向いており、これを機に空間の中でコンピューター扱うというユーザーが増えると考えています。

その中で空間で「絵を描く」というシンプルですが、わかりやすいテーマでのアプリ。としています。

また、Apple Vision Proはデバイス単体ではなく、コミュニケーションを重視していると考えていますので、描いたモデルはUSDZで出力し、共有することが可能です。

これによって、ユーザーは自分が描いたモデルを共有し、お互いに楽しむことができます。もちろんiOS/iPad OSの方もそこに加われます。

いままでのサービスの延長もあります。

ホロラボにて提供しているBIM/CAD向けサービスであるmixpaceのApple Vision Pro版を日本発売に向けて準備を進めています。

Apple Vision Proでの高品質なディスプレイにより、いままでとは違った体験になりますので、登場をお待ちください。

まとめ

空間コンピューティングの自分なりの解釈として、空間とコンピューターが日常世界で共存する世界、Apple Vision Proを日常から使い続ける世界に変わっていくと、いままでの生活スタイルも少しずつ変わっていくのかなと考えています。

技適特例申請も提出したので、この範囲内で試していきます。

技術書典15にて、「ホロらぼん Vol.2」を頒布しました。

ホロラボの於保です。

このたび、ホロラボの有志で技術同人誌「ホロらぼん Vol.2」を制作し、技術書典15で頒布しました。

イベントは終わりましたが、引き続きこちらのURLで無料で頒布していますので、 よろしければご一読ください。 メンバーそれぞれが今興味がある技術について書いたごった煮な技術同人誌となっています。

ホロらぼん Vol.2 表紙

目次

  1. M5 AtomS3でp-duckを愛でる M5 AtomS3という小さなデバイスでp-duckをSlackにスタンプするデバイスを作りました。

  2. みんなで街並みをスキャンする 街並みスキャンのスキャンソンについて。 イベント紹介やスキャンのコツなどを解説。

  3. C#でBSONデータを扱ってみよう C#でBSONシリアライズ形式を使うときのTipsなど。

よろしくお願いします。

【事例】ワークショップ協力事例のご紹介

芝浦工業大学建築学部建築学科で開催された、さくらサイエンスプログラム一般公募プログラム「東京デジタル・ヘリテージ・ワークショップ」に展示協力しました。

詳細はさくらサイエンスプログラムの活動報告レポートをご覧ください。

第34号:芝浦工業大学|2023年活動レポート:過去の実績を紹介|さくらサイエンスプログラム(JST)

東京デジタル・ヘリテージ・ワークショップ概要

2023年7月26日から8月4日にかけて、エチオピアのアディス・アベバ大学EiABC(Ethiopian Institute of Architecture, Building Construction and City Development)の教員2名と学生9名、計11名が芝浦工業大学建築学部建築学科を訪問し、東京デジタル・ヘリテージ・ワークショップが開催されました。芝浦工業大学からは教員2名と学生21名が参加し、企業や研究者の方々にも訪問していただきました。レクチャー、演習、体験、ディスカッション等を通じて、建築遺産における3Dデジタルアーカイブについての知識を深め、将来の活用方法について議論が行われました。(さくらサイエンスプログラムの報告記事から引用)

ホロラボの協力内容

ホロラボからは中村薫、山田沙知氏の両名からAR技術を使用したまちづくりプロジェクトの事例紹介を行いました。

テーブルの上に敷かれた地図上にあるQRコードをHoloLensやiPadを通して見るとARの建物が浮かび上がるなど、市民参加型まちづくりの新たな手法を展示しました。 プロジェクトについては関連記事などをご覧ください。

www.docswell.com

blog.hololab.co.jp


展示依頼や登壇、講師依頼は随時受け付けていますので、HPより気軽にお問い合わせください。

株式会社ホロラボ | HoloLab Inc.

2023年11~12月イベント・展示会予定

2023年11~12月に下記のイベント・展示会へ出展を予定しています。 皆様のご参加・来場をお待ちしております!

第1回 ものづくり ワールド [九州] 製造業DX展

Unreal Engine Meetup In TOYAMA

  • 会期:2023年11月30日(木)13:00 - 18:30
  • 会場:富山県立大学DX教育研究センター
  • 登壇➀:14:25-15:25(60min) Unreal Fortniteを活用した建築デジタルアーカイブ(登壇者:株式会社ホロラボ 梁河 雄氏 株式会社三菱地所設計 稲毛洋也氏 喜久里尚人氏)
  • 登壇➁:16:40-17:10(30min) UnrealEngineで地域を照らす:VRホタルイカの魅力と可能性(登壇者:イシムラ設備企画J/株式会社ホロラボ 石村 卓也氏) dxc.pu-toyama.ac.jp

DXフォーラム 2023

www.io-web.jp

第46回 情報シンポ AIJISA 2023 HYBRID

  • 会期:2023年12月7日(木)12月8日(金)
  • 会場:建築会館

aijisa.org

XR Kaigi 2023

  • 会期:2023年12月21日(木)- 12月22日(金)10:00 - 18:00(2日目は17:00まで)
  • 会場:東京都立産業貿易センター浜松町館 3F/4F
  • 展示内容:ホロラボなんでも相談室 www.xrkaigi.com

各イベント・展示会の詳細についてはお問い合わせください。

https://hololab.co.jp/#contact