ブログ@HoloLabInc

株式会社ホロラボのブログです

これは子供も大興奮! レゴやマイクラで作った建物を現実世界へARで具現化してみた

マイクラで作った建物がARで現実世界に

ホロラボはこの夏にいくつもの子供向けイベントへ技術提供/出展をしてきました。
その中でも、私たちもとても楽しむことのできた取り組みの事例を紹介します。

マインクラフトをARで現実空間に

2024年8月12日(祝・月)に開催された小学生向けイベント「Minecraftで未来の丸の内をデザインしよう!」にて、ホロラボが開発したXR技術を用いたデジタルツインプラットフォームtorinome(トライノーム)(*1) を活用し、子供たちがマインクラフトで建築した建物を、現実の丸の内ストリートにARで具現化しました。

「Minecraftで未来の丸の内をデザインしよう!」イベントは、Minecraftカップ運営委員会と大手町・丸の内・有楽町 エコキッズ探検隊と株式会社ホロラボでの共同で開催され、会場はMinecraftカップ運営委員会のシルバーパートナーの三菱地所様のスペースにて実施されました。

現実への具現化の流れは大まかに次の通りになっていました。

  • PLATEAUデータ(*2) をベースにマインクラフト上に丸の内エリアを実物大で再現
  • そのマインクラフト上の丸の内の世界の中で子供たちが未来の丸の内を考えて建物などを構築
  • その構築された建物のデータをglb形式で出力し、torinome Web上のデジタルツイン丸の内に設置
  • その設置された建物がtorinome ARによって現実の丸の内に実寸大で具現化される

torinome Web上の丸の内に、子供たちがマインクラフトで作った未来の丸の内を設置した様子

torinome Web上に設置されたマインクラフト丸の内が、現実世界の丸の内へARによって具現化された様子
torinome Web上に設置されたマインクラフト丸の内が、現実世界の丸の内へARによって具現化された様子

当イベントを実施した際のプレスリリース記事はこちら prtimes.jp

現実の丸の内にARで具現化された自分の建物に興奮した子供たちは、我先にとiPadの取り合いになりましたし、iPadを手にした瞬間に全力で自分の建てた建物の位置まで走る(300~400mくらいの広範囲に建設したので)など、それについていく大人たちも汗だくになって大変でした笑
お子さんと一緒に参加していたお父さんお母さんからもとても関心を得られ、質問攻めにあいながらも子供たちも追いかけないといけないという、まさに嬉しい悲鳴を上げた1日となりました。

レゴで作った建物が霞が関に

2024年8月7日(水)、8日(木)の二日間に開催された「こども霞が関見学デー」(*3)にて、子供たちが現実のレゴで作った建物をデジタルツイン上の霞が関に建てるという試みを実施しました。
ホロラボは国土交通省にて、PLATEAUプロジェクトの紹介コーナーの一部として、このレゴで建物を作るデジタルツイン体験ブースを提供していました。

企画の背景として、国土交通省が推進するPLATEAUプロジェクトにおいて、霞が関周辺だけPLATEAUの建物データが存在しない状態になっています。

霞が関だけPLATEAUの建物が無い様子

このぽっかりと開いた霞が関の空間に、子供たちで好きな建物や省庁を建ててみよう!というのが、この企画の発端です。

レゴのデジタルデータ化にはScaniverseという無料の3Dスキャンアプリを活用しました。
出来上がったレゴをスタッフでスキャンして3Dデータ化して、それをデジタルツインプラットフォームtorinome Web上に設置。
自分の建物がtorinome Web上の霞が関付近の好きな場所に置かれている様子を、モニター背景に一緒に写真を撮ったりなどして楽しんでいただきました。

レゴで作った建物が地図の上にレゴで子供たちのつくった建物たちレゴでデジタルツイン体験の様子
レゴでデジタルツイン体験の様子

ユニークな建物や省庁の数々

当日は実施しませんでしたが、これらのtorinome Web上に設置されたデータは、現実のその場所(つまり霞が関)に行って専用のiPadアプリで覗くだけで、実物大のARで具現化することが容易にできます。
torinome Web上でサイズを自由に変えることができるので、レゴで作った建物を人が入れる大きさにすることも自由にできますし、ARで実際にその建物の中に入ってみることもできちゃいます。

子供たちの中には霞が関を無視して、皇居にお花のお家を建てる子や、海の上に家を建てた子もいました笑
鉄道好きの子は、かつて存在していた鉄道省を東京駅前の広場に建ててみたりと、大人でもびっくりな発想や知識に驚かされ続ける1日となりました。

誰でも簡単に3Dデータを作れる!

torinomeは、3Dデータさえあればそれをtorinome Web上の地図の上に置くだけで簡単にその場所にARで具現化することができるデジタルツインプラットフォームですが、そもそもその3Dデータを持っていなかったり、作ることができない人が多いというのが利用者の一つの課題でした。
しかし今回の事例のように、誰でも簡単に作ることができるのであればその問題は一気に解消されます。

マインクラフトは現時点では歴史上世界で最も多く売れたゲームでもあり、最近の子供たちは誰もが遊んだことがあり簡単に扱うことができます。 レゴに関しては大人でも直感的に好きな形を作り上げることができる、世界中で愛されているブロック玩具です。

誰もが扱うことのできる道具で創造したものが、現実の世界へと具現化される。 とても単純なようでとても新しい体験を可能としたデジタルツインプラットフォームtorinomeの、新しい価値を発見したかのような体験の日々でした。

株式会社ホロラボは、XR技術を駆使したプロジェクトやプロダクトの創出に力を入れています。当イベントには未来のエンターテインメントを牽引する才能ある子供たちが集結し、新たなXR体験を生み出す場となるよう技術支援をいたしました。 今後も株式会社ホロラボはXRテクノロジーの進化を推進していきます。


*1: torinome(トライノーム)とは
torinomeは、XR技術を用いたデジタルツインマルチプラットフォームです。 Webアプリケーションとしてブラウザで動作するtorinome Webは、Web3Dの新しいGISです。国土交通省が推進するProject PLATEAUで整備、提供される3D都市モデルを始めとして、その他にも多様な形式のGIS、画像、動画、3Dモデルを3Dの地球儀上に重畳表示が可能です。 そしてtorinome AR(iPadアプリ)は、torinome Webの地図上に設置された3Dデータを、現実世界のその場所へ実物大サイズでARによる具現化が可能です。torinome Webの地図と現実の位置が自動でリンクするデジタルツインを実現しているため、現実世界での手動での位置合わせは不要です。

*2: PLATEAU(プラトー)とは
PLATEAUは、国土交通省が推進しているプロジェクトで、日本全国の都市を3Dモデル化し、オープンデータとして公開する取り組みです。この3D都市モデルは、都市計画や防災シミュレーション、映像制作など、さまざまな分野で活用されています。これらのデータは無償で公開されており、誰でも利用することができます。

*3: こども霞が関見学デーとは
夏休み期間中に子供たちが霞が関の各府省庁を見学し、政府の仕事や社会の仕組みを学ぶイベントです。 親子で参加でき、さまざまな体験プログラムや展示が用意されています。

展示会出展のお知らせ【Japan Mobility Show Bizweek 2024】

下記のイベント・展示会への出展を予定しています。 皆様のご参加・来場をお待ちしております!

Japan Mobility Show Bizweek 2024

  • 会期:2024年10月15日(火)~18日(金) 10:00~17:00
  • 会場:幕張メッセ(国際展示場)
  • 入場:無料(全来場者登録入場制)
  • 小間ブース位置:スタートアップブース SS-18
  • イベントURL/来場登録 はこちら↓ 

※併催「CEATEC2024」の来場登録でも本イベントに入場いただけます

www.japan-mobility-show.com

【展示内容】


詳細については下記よりお問い合わせください。

https://hololab.co.jp/#contact

Unity AwardsのIndustry部門Best Embedded System Projectにノミネートされました

第16回 Unity AwardsのIndustry部門Best Embedded System Projectに西松建設株式会社様と共同研究を行ったプロジェクトがノミネートされました。

Unity Awardsについて

Unity Awards は、クリエイターのコミュニティが一堂に会し、創造性、影響力、卓越性をグローバルに称えるアワードです。世界中の Unity コミュニティと一緒にノミネートして、Unity クリエイターの優れた功績を称えましょう。(公式サイトより引用)

unity3d.jp

ノミネートされたプロジェクトについて

西松建設株式会社様と共同研究を行った、 GNSS連携したドローンで現場でのマーカー位置合わせを不要にし、空撮映像と3Dモデルをリアルタイムに重畳、ヘッドマウントディスプレイと連携して施工の可視化、ドローンの操縦支援を行なうプロジェクトがノミネートされました。 プロジェクトの詳細については下記プレスリリースを参考ください。 prtimes.jp

今後のスケジュール

2024 年 9 月 19 日~ 10 月 4 日の一般投票期間を経て、2024 年 10 月 23 日午後 7 時(中央ヨーロッパ時間):Unity の Twitch チャンネルで各賞受賞者発表される予定です。

※Industry部門は今年度より新設された部門で、本部門には一般投票はありません。

書籍『Apple Vision Proアプリ開発入門』発売記念イベントを開催しました!

2024年8月24日に発売された書籍『Apple Vision Proアプリ開発入門』の発売を記念したイベントを2024年9月6日にホロラボオフィスで開催しました。

イベントの様子

イベントでは執筆者と編集者によるトークセッション、特別ゲストのSpatial Artistせきぐち あいみさんのパフォーマンス、サイン会など大きなトラブルもなく盛況に終えることができました。

イベントの様子➀

イベントの様子➁

イベントの様子➂

バッテリーホルダー

イベント参加者にはApple Vision Proのバッテリーを入れるのにぴったりなバッテリーホルダーを参加特典として配布しました。

バッテリーホルダー

次回のイベント告知

書籍「Apple Vision Proアプリ開発入門」購入者向けの次回のイベントは9/18(水)と9/21(土)に開発イベント「執筆者と一緒に『Apple Vision Proアプリ開発入門』をもくもくする会」を予定しています。

このイベントでは、『Apple Vision Proアプリ開発入門』を実際に手を動かしながら読み進めていくイベントでわからないことはその場で書籍執筆者に質問できるイベントです。 また、Apple Vision Proを持っていない場合でもホロラボ所有のApple Vision Proを使って開発したアプリケーションを試すこともできますので、Swift初学者の方から熟練者の方まで広くご参加いただけます。

皆様のご参加お待ちしています。

hololab.connpass.com

地理空間連動NFT対応ARアプリ「Spatial Curator」開発について

2024年7月25~27日にかけて開催された「落合陽一 サマースクール2024」で使用する地理空間連動NFTに対応したARアプリ「Spatial Curator」をホロラボで開発しました。

サマースクール期間中に参加者が制作した作品は「Spatial Curator」を通して「体験データ」として実空間に配置することができ、それと同時にNFTとして参加者のウォレットに紐づけられます。 また同じく「Spatial Curator」を通すことで、それらの「体験データ」を他の参加者は追体験として閲覧することができます。 スマートコントラクト技術の導入により、「体験データ」が閲覧される度にその「体験データ」制作者に対して限定動画の視聴などができる権利のついたNFTが報酬として自動的に配布されます。

作品に紐づけられたNFT、および報酬としてのNFT配布イメージ

このアプリで採用された技術的な要素について解説していきます。

イベントの詳細についてはこちらを参照

Table Unstable https://tableunstable.org/

ホロラボ、電通グループと「地理空間連動NFT」による実証実験でARアプリを開発 https://prtimes.jp/main/html/rd/p/000000103.000023638.html

「Spatial Curator」概要

3D Gaussian Splatting(以下3DGS)によってデジタル化された3Dコンテンツを音楽データと合わせた「体験」として、Spatial Curatorを通して特定の場所に配置することができます。 配置された体験データはNFT化され、その体験データを他のユーザーがSpatial Curatorを通じて追体験する度に、制作したクリエイターに対して報酬としてのNFTがスマートコントラクト技術によって配布されます。

また時間帯や天気などの状況が屋外での空間体験に大きく影響を与えることを考慮し、天気APIから当時の天候を自動取得して表示することで、実際の天候と比較しながら追体験ができるようにしています。

「Spatial Curator」に組み込まれた技術要素

Project Spirare

Project Spirare はホロラボが開発を行っている OSS プロジェクトです。 Project Spirare では特定のゲームエンジンやアプリケーションに依存しない 3D コンテンツ用フォーマットである POML の仕様作成と、POML の作成や表示を行うためのライブラリやアプリケーションの作成を行っています。

Project Spirare についての詳しい情報は、2024/4/18 に実施された HoloLab Conference 2024 のセッションアーカイブをご覧ください。 www.youtube.com

今回のアプリケーションでは、Project Spirare において実装された以下の機能をライブラリとして利用しています。

  • 3D Gaussian Splatting (3DGS) の表示
  • 画像の表示
  • 3DGS や画像の表示位置を緯度経度で指定し、Geospatial API を使って位置合わせする機能
3DGS 表示

3DGS の表示は高橋啓治郎さんが作成された SplatVFX をベースに実装しています。 SplatVFX では Visual Effect Graph (VFX Graph) を使って Splat の表示が行われています。

github.com

Geospatial API

Geospatial API は Google が提供する VPS です。 アプリケーションにライブラリを組み込むことで、端末のセンサーデータ・GPS データ・カメラ画像を利用し、端末の緯度経度や向きを取得することができます。 Google ストリートビューのデータが利用されており、ユーザーによる VPS マップ作成は不要です。

詳しい情報は以下の公式ドキュメントをご覧ください。 https://developers.google.com/ar/develop/geospatial?hl=ja

Firebase

Firebase は Google が提供するモバイルおよびウェブアプリ開発プラットフォームです。 今回のアプリケーションでは、画像・3DGS データ・音楽データといったデータファイルの保存に Cloud Storage for Firebase を利用しています。 また、体験データの情報(タイトル・作成者・配置位置など)の保存に Cloud Firestore を利用しています。

天気API

空気感再現のひとつとして記録している天気に関する情報は「Free Weather API」を使用して取得しています。

www.weatherapi.com

体験データ作成時の位置情報(緯度/経度)を元にその地点のリアルタイムの天気情報を取得し、「晴れ」や「雨」といった天候を表す天気コードを元にアイコンを表示。体験データの一部としてその天気コードを保存しておきます。

リアルタイムの天気情報を取得した例はこちら。

{

"location": {
    "name": "Tokyo",
    "region": "Tokyo",
    "country": "Japan",
    "lat": 35.69,
    "lon": 139.69,
    "tz_id": "Asia/Tokyo",
    "localtime_epoch": 1723704025,
    "localtime": "2024-08-15 15:40"
},
"current": {
    "last_updated_epoch": 1723703400,
    "last_updated": "2024-08-15 15:30",
    "temp_c": 34.1,
    "temp_f": 93.4,
    "is_day": 1,
    "condition": {
        "text": "Partly cloudy",
        "icon": "//cdn.weatherapi.com/weather/64x64/day/116.png",
        "code": 1003
    },
    "wind_mph": 11.9,
    "wind_kph": 19.1,
    "wind_degree": 110,
    "wind_dir": "ESE",
    "pressure_mb": 1005.0,
    "pressure_in": 29.68,
    "precip_mm": 0.0,
    "precip_in": 0.0,
    "humidity": 60,
    "cloud": 75,
    "feelslike_c": 37.9,
    "feelslike_f": 100.1,
    "windchill_c": 34.3,
    "windchill_f": 93.7,
    "heatindex_c": 38.2,
    "heatindex_f": 100.8,
    "dewpoint_c": 20.9,
    "dewpoint_f": 69.5,
    "vis_km": 10.0,
    "vis_miles": 6.0,
    "uv": 8.0,
    "gust_mph": 13.6,
    "gust_kph": 22.0
}

}

音楽ファイル、 サムネイル画像の選択

体験としてアップロードする音楽ファイルはiPhoneの「ファイル」アプリ内に格納されたmp3ファイルが対象となります。 「ファイル」アプリからのmp3ファイルの選択する機能はNative File Picker for Android & iOSを使わせてもらいました。

Native File Picker for Android & iOS | Integration | Unity Asset Store

また音楽ファイルのみで3DGSファイルをアップロードしない場合、サムネイルとして任意の画像ファイルを選択するという仕様となっています。ここで使用するサムネイル画像はNative Gallery for Android & iOSによって「写真」アプリ内から選択できるようにしています。

Native Gallery for Android & iOS | Integration | Unity Asset Store

「Scaniverse」利用した3DGS作成

体験データに使用する3DGSのデータの作成はiPhone用スキャンアプリ「Scaniverse」を推奨として参加者に使用していただきました。

Scaniverse - 3D Scanner

Scaniverse - 3D Scanner

  • Toolbox AI
  • 写真/ビデオ
  • 無料
apps.apple.com

ほとんどの参加者が「Scaniverse」を初めて使うようでしたが、サマースクール期間中にレクチャーする機会もあり、みなさん自分ならではのスキャンをして3DGS作品を作成していました。

まとめ

今回開発した「Spatial Curator」はVPS、3DGS、NFT、スマートコントラクトなど様々な技術を組み合わせたアプリとなりました。 ひとつひとつの技術の中身は複雑な仕組みではありますが、OSSや各種ライブラリを活用することで比較的容易に組み込むことができました。 サマースクール参加者にもこのアプリを通じて新しい技術に触れていただけたと思います。(文章:田野、古田)