ブログ@HoloLabInc

株式会社ホロラボのブログです

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (3)

LiDAR

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてはじめてみたら分量がとんでもないことになってきた長編連載？第3回目です。これで最終回ですｗｗ

第1回: 「LiDARスキャナ」について調べてみた (1)

第2回: 「LiDARスキャナ」について調べてみた (2)

  • Apple製品におけるLiDARの構成について
  • VCSELって何？
  • VCSELによるアレイ化
  • DOEにより、アレイ状のレーザー光を更に拡散

blog.hololab.co.jp

そして、もとの記事AppleがII-VI(ツーシック)へ440億円を拠出した話題だったんですがｗ、だいぶ明後日の方向に記事が伸びてしまってますｗ

www.moguravr.com

さて、前回まででLiDARスキャナの構造が、発光と受光と信号処理になってて、発光素子としてVCSELがビカッって見えないけれど光って、それをDOEがバラっと拡散するところまで書きました。

f:id:takesenit:20210522223137p:plain
LiDARスキャナをウェブカムで撮影。人間の目には見えなくても機械の目にはお見通し！

そうした光が、、、

VCSEL/DOEによる照射光をセンスしてToFを実現するSPAD

VCSELアレイが発したレーザー光がDOEで拡散されて、近赤外線で明るくなった各ドットのイメージを、今度はソニー製SPAD(Single Photon Avalanche Diode)の受光素子が捉えて、ToF (Time of Flight)：光の到達時間から距離を計算します。

このSPAD自体は最後のDがDiodeなだけあって、そのもの自体は受光素子です。ただ、EETimesの記事によるとSPADはアレイ状に配置されていて、かつこのSPADアレイの下にToF計算用のロジック回路を配置して直接配線されている「ロジック統合型CMOSイメージセンサー」とのことでレポートしています。

「旧型の10ミクロンピクセルiToF設計に似ているように見えたが、史上初のインピクセル接続コンシューマーCMOSイメージセンサーであることが判明した。これは、単一光子アバランシェダイオード（SPAD：Single Photon avalanche diode）アレイだ」

また、ToF方式には光の到達時間そのものを「直接」測定するdToF(direct)と、時間ではなく位相の差から「間接的に」距離を計測するiToF(indirect)があります。一般的にはiToFがモバイル機器に使われていましたが、AppleのLiDARは屋外に強く長距離性能に長けたdToFを採用したとのことです。

II-VI社はAppleのLiDARスキャナのサプライヤなのか？

ということで、冒頭に紹介した記事で「AppleがLiDARサプライヤのII‐VI社へ440億円提供」という文脈から行くと、残念ながらこの分解レポートにおいては下記構成で、II-VI社は含まれていない模様です。

もう一度ニュース原文を読み直して見ると下記の表現でした。

www.apple.com

II-VI manufactures vertical-cavity surface-emitting lasers (VCSELs) that help power Face ID, Memoji, Animoji, and Portrait mode selfies. Apple also works with II-VI to manufacture lasers used in the LiDAR Scanner

直訳すると、「II-VIはFace ID、Memoji、Animoji、ポートレートモードの自撮りを実現するVCSELを製造します。また、LiDARスキャナーに利用されるレーザーの生産についてもAppleはII-VIと活動します。

どちらも英語的には現在進行形や現在完了形ではなく、現在系。特にLiDARスキャナーについては、生産についてワークする、だからまだ作ってないのかもしれないｗ 集めた情報から想定すると、「II-VIはLiDARスキャナの中の重要部品であるVCSELアレイのサプライヤになるかもしれない」という表現が適切なように感じました。

The expansion of the company’s long-standing relationship with II-VI will create additional capacity and accelerate delivery of future components for iPhone, with 700 jobs in Sherman, Texas; Warren, New Jersey; Easton, Pennsylvania; and Champaign, Illinois.

この枠組みで、700名の新規雇用が、テキサス、ニュージャージー、ペンシルバニア、イリノイの各州の工場で産まれるとのこと。

そして、この記事で本当に伝えたかったのはLiDARスキャナの中身だったり技術についてではなくて、米中摩擦や新型コロナにより分断されていく世界で、国際企業たるAppleとしては将来性あるテクノロジーに関連した雇用やSDGsに対応したGreenなサプライチェインを国内に積極投資していく、とのPRが主目的なように読めました。

LiDARだけじゃない、AppleのUS国内生産の動き？

心臓部であるAシリーズなどもQualcomm製を使うのではなくARMコアを独自実装出来るライセンスを持ち、ユーザー体験を作るための根っこからデザインしてきたApple。コアのCPU自体はまだ台湾TSMCが長期パートナーシップの元で製造していますが、Ｍ1もMacだけでなくiPadに搭載を始めたことなどからも最新プロセスの生産キャパ問題がレポートされています。

thebridge.jp

情勢不安や米国が受けた新型コロナの打撃から国内産業の復興を政府が狙いたいのは明確。IntelがAppleシリコンの製造をしたいとのコメントを出していたり。

japanese.engadget.com

CPUについてはまだ具体的な動きは見えていない状況ではあります。ただ、モバイルデバイスが日々の生活に溶け込んでどんどん便利になるにつれて、その体験を支えるコア部品の継続安定供給性が極めて重要になってます。

全体的にサプライチェインを自社のコントロール可能な自国内に戻そう、というような動きが加速しそうです。 そして、日本人として気になるのは、ソニーのSPAD CMOSイメージセンサはどうなるのかなってところですねｗ AppleがII-IV同様にAwardしてソニーセミコンがUS工場に投資してUS現地雇用を産む、みたいな話になるのかな？

さて、ここまでが元々のAppleのAwardに関するニュース記事についての調査と、最後は重要なパーツをいかに安定供給するかが、この情勢不安な状況で国内主義的な方向で重要になって来てるんじゃないかとの仮説についてあれこれと書いてみたブログ記事でした。

そして、ここから先は調査の過程でさらに脱線しまくった部分ｗ 散文的な感じなので流し読みして頂ければッて言う感じです。

蛇足1: Lumentum社を調べたら、光部品メーカーの仁義なき戦いがうかがい知れた

あれこれと調べていたら本筋から逸れた方向でも興味深い話があったので、蛇足としてまとめてみますｗ

現在のLiDARスキャナでVCSELアレイを供給してるとレポートされたLumentum社について調べてみたら、光部品メーカーが食いつ食われつの買収合戦を繰り広げていたのが分かり、これまた興味深かったです。

2018年のII-VIとFinisarの買収劇をまとめたブログに掲載されていたチャートが、ビジュアルからしてすでに激しい。ディープパープルのメンバーチェンジ遍歴みたいｗ

f:id:takesenit:20210517012454p:plain
II-VI社の買収遍歴(https://www.sevensix.co.jp/tech/blog/20210423_523/)

FinisarにしてもCoherentにしても、ここで名前が出てくる会社の多くが産業用や通信用レーザーを作っていた企業。武仙も以前SFPの光モジュールとか扱ってたときにFinisarとかは競合他社で名前を聞いた記憶があります。

これは完全に想像ですが、2000年以降ネットワークにおける光通信バブルが起きて、メトロ側からOC-192とか光インターコネクトとかでニーズが出て、FTTHとかが流行って、、、っていうタイミングで多くのメーカーが通信用光部品に投資を実施。あるタイミングで光化がひと段落して横ばいになった市場に対してプレイヤーが多かったので統合が進んだのか、それから更に高付加価値化が求められて企業体力のあるところに集約が行われたのか、など色々となぜこんなに買収が頻繁に行われたのか考えてしまいます。

蛇足2: フロントノッチ部分のTrueDepthもLiDAR？

このTrueDepthを調べてる過程で「すごいことに気づいた！」って思ったんですが、、、すぐに間違えてることをあるしおうねさんにご指摘頂きましたｗｗ

まだちゃんと実験してないんですが、原理的にFaceID認証の一瞬だけドットパターン側も照射されているはず。

ということで、AppleのiPhone/iPadに搭載されてる光学センサー関係を調べてみたら超大作ブログが出来上がっちゃったというお話でしたｗ 目に見えない赤外線を操って、めちゃめちゃ限りあるバッテリー容量を有効に活用しながらも色々なUXをさりげなく、かつ結構野心的に実装してあるのが垣間見られました。

赤外線と同じく目に見えないとの観点では非接触充電用だったりU1チップによる超音波広帯域通信だったりと、これまた光学センサーと組み合わせたら面白そうな技術がすでに搭載されていて、、、センサー好きテクノロジー好きとしては引き続きAppleのモノヅクリやUXデザインに目が離せない状況が続きそうです！

ホロラボではLiDARスキャナを使ったiOSアプリも開発しています。
開発のお問い合わせはこちら。

https://hololab.co.jp/#contact

また、ARKitやLiDARを使ったiOSアプリ開発者も激しく募集しています！ hololab.co.jp

面白そうだなと思って頂けたら、ぜひお気軽にお問い合わせください！

PTC社セミナーで登壇しました。

HoloLens 2 展示/登壇 N

2021/05/13にPTC社のセミナーで登壇しました。

登録が必要ですが、リプレイセッションがありますので、ぜひご覧ください。

www.ptc.com

自社事例含めて20分で6件入れてます。概要ながらもポイントを説明しています。

speakerdeck.com

mixpace Remote Renderingについて

mixpace Remote Renderingについては日本マイクロソフト社のセミナーで紹介しておりますので、ぜひご覧ください。

blog.hololab.co.jp

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (2)

LiDAR

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてはじめてみたら分量がとんでもないことになってきたのが前回。

blog.hololab.co.jp

さて、もとの記事AppleがII-VI(ツーシック)へ440億円を拠出した話題に戻って考えると、

www.moguravr.com

「LiDARのサプライヤー」って言った場合に、このLiDARの構成部品のうちのどのサプライヤーなのかが気になった、ということでしたｗ 細かくてすみませんｗ 一応、ホロラボを作る前に半導体商社で光半導体なども扱っていたりで、この辺も関心の深いところでしてｗ

Apple製品におけるLiDARの構成について

2021/5の現段階において、Apple製品でLiDARが搭載されてるのが下記の大きく2製品3タイプ。

  • 2020 - iPad Pro (A12 Bionic)、iPhone 12 Pro/Max (A14 Bionic)
  • 2021 - iPad Pro (M1)

iPadって、ディスプレイのインチ数が異なると世代が違うので第〇世代ってシンプルに言えない状態なんですねｗ

まだiPhoneや最新M1 iPad Proの中身に関する情報は多くないので基本は2020年版iPad Pro搭載のLiDARについてですが、こんな資料があったので引用します。

System Plus社のTierdownレポートのブローシャ: https://www.systemplus.fr/wp-content/uploads/2020/06/SP20557-Apple-iPad-pro-Lidar-Module_flyer.pdf

こちらのレポート(のカタログ)によれば、主要部品は下記とのこと。

このVCSEL、SPAD、DOEのそれぞれがどんなものなのかについてや、AppleのLiDARスキャナで初めてこのサイズで実装されたdToF方式(direct Time of Flight)については、日系XTECHの記事がかなり詳しくまとまってます。関心のある人はぜひご参照ください。(要サブスク登録)

VCSELって何？

今回このブログでまず注目したいのがVCSEL、ヒカリモノの方です。たしか940nmぐらいのNIRなので肉眼では見えないけれどｗ

このVCSEL(ビクセル)は光デバイス、半導体レーザーの一種ですが、良い感じの特徴があるので武仙もなぜか前職から気になって覚えてました。

VCSELはVertical Cavity Surface Emitting Laserのアクロニム、頭文字語で、日本語だと「垂直共振器型面発光レーザ」と訳されます。

こちらのTweetでの「Cavity」の意味合いに関してSATOMIさんからコメントを頂いてまして、半導体レーザーでは共振(resonance)しつつ発振させるので「共・発振器」の意味合いがあるとのこと。めっちゃ勉強になる。Twitter最高。そして「穴」って覚えててすみませんｗ

LED/VCSEL/LASERを比べてみる

このビビビビクセル、VCSELがどういう特徴を持ってるか分かりやすい図を探したのがこちら。同じヒカリモノデバイスのLEDと、あとはいわゆる普通のレーザーとの構造的な比較。

f:id:takesenit:20210519162537p:plain
3 types of semiconductor lasers used as fiber optic sources

参照元: The FOA Reference For Fiber Optics - Fiber Optic Transmitter Sources-Lasers and LEDs

この図がめっちゃ分かりやすくて好きです。それぞれ、発光面、共・発振器の配置について書いてみる。(ここでのLASERは気体レーザーなどではなく半導体レーザー、Laser Diodeについて書いてます。)

  • LED: Light Emitting Diode　面発光、共振器を持たない
  • VCSEL: Vertical Cavity Surface Emitting Laser　面発光、共振器が垂直配置
  • LASER: Light Amplification by Stimulated Emission of Radiation　端面発光、共振器が水平配置

ここはちょっと自信のない部分で武仙の理解を書きます。間違ってたらツッコミお願いしますｗ

LASERとVCSELはいずれも共振構造を持っていて、エネルギーを共振させて位相の単一な(Coherent: コヒーレントというらしい)「レーザー光」を生成できます。このレーザー光は波長が急峻で高い直進性が特徴。

LEDはそもそもこの共振構造を持たずに、pn接合のバンドギャップから生まれる光エネルギーをボヤっと大き目の開口から出すｗ

底面は鏡面構造になってたりと発生した光をなるべく表面から出すようなデザインになってるんですが、位相がバラバラなので減衰しやすい。

波長がLASERから比べれば幅広いし、開口が広く拡散するからボヤっと光る。

それでもってVCSELは、ちょうどLASERとLEDの良いところ取りを狙ったデバイス構造。もともと先にLASERが産まれて、その後に半導体加工技術が向上した結果、共振部を垂直配置して、LED的な低電力でもレーザー光が得られるように出来たもの、、、って理解しています。

ってことで、VCSELも面発光な点はLEDと一緒ですが、Cavityで増幅された光が狭い開口から射出されるため指向性が高く遠くまで光が届く。それでいて端面発光なレーザーより圧倒的に低消費電力化が可能。

なんとこのVCSELは、日本の人が発明。知らなかった。 https://jstage.jst.go.jp/article/lsj/37/9/37_649/_pdf

1977年に伊賀健一博士（現東京工業大学長）により発案

なんだか、ちょっとうれしいｗ

VCSELによるアレイ化

ただこのVCSELの出す光もレーザーと同じく開口径も狭くて直進性が高いので、LiDARとして使ったとしても遠くまで届きますがそのままでは2D/3Dに距離計測が出来ません。

そのため、Appleが採用しているLiDARではいくつか指向角を広くしたり3Dにするための手法が採用されている模様です。第一回で書いた「Solid Stateで3Dにする方法」で言うと、 1) レーザーを複数にしてラインスキャン状態にする、と3) 光学的に3D LiDARにする、が採られています。

端面を切断してそこから光を取り出すLASERと異なり、VCSELはLEDと同様に、一つの半導体ウェハ上にアレイ配置が可能です。

日経XTECH記事によると、AppleのiPad Pro(2020)搭載LiDARスキャナモジュールにおいてもVCSEL素子は4x16、計64個のアレイ形状と判明しています。

VCSELの光源の4つがひとかたまりになって電極につながり、それが16列並んでいた。つまり、合計64点あった

xtech.nikkei.com

DOEにより、アレイ状のレーザー光を更に拡散

今度は「Solid Stateで3Dにする方法」における、3) 光学的に3D LiDARにする、手法で更に広い範囲にレーザー光をバラ撒いてます。

iPad Pro(2020)搭載LiDARスキャナでは、この64個のVCSELアレイの光源を回折光学素子(DOE: Diffractive Optical Element)で、9つに分散させてバラまいてる様子が日経XTECH記事で説明されてます。(ぜひ本文を契約して読んでねｗ

DOEは光波が持つ回折(かいせつ)効果と、その効果を持つ格子状の構造体からなる光学部品。波状の光をスリットを通して回り込ませつつ波頭の集まる場所を集約することで任意の形に光の方向をコントロール出来ます。

www.japansensor.co.jp

LiDARスキャナの中ではDOEを使って、レーザーアレイの直進光を9つに分岐させています。レーザーの指向性の関係で照射範囲が点だったものを、VCSELをアレイ化して2D面にして、更に光学素子で拡散していると考えられます。

この拡散によって比較的広い範囲にLiDARスキャナの光源を照射出来てるのが分かりますね。

VCSELとDOEによってばら撒かれたレーザー光はLiDARモジュールから放射状に広がっていきます。距離が延びればそれだけ照射範囲も広くなりますが、今度はVCSELの光が減衰するので、おおよそ信頼のおける測距結果が得られるのが5メートル程度。それぐらいの距離をこのドットパターンで覆うと、ちょうど人間の視野をカバーするぐらいになりそう。

手に持つにしても、メガネのように着用するにしても、AR利用を考えた設計になってる気がしますね。

さて、連載はまだ続きます。(次回リンク)

ホロラボではLiDARスキャナを使ったiOSアプリも開発しています。
開発のお問い合わせはこちら。

https://hololab.co.jp/#contact

また、ARKitやLiDARを使ったiOSアプリ開発者も激しく募集しています！ hololab.co.jp

面白そうだなと思って頂けたら、ぜひお気軽にお問い合わせください！

Apple iPad/iPhone搭載「LiDARスキャナ」について調べてみた (1)

LiDAR

ホロラボ武仙です。好きなものは、赤外線です。
あ、最近は超音波とかも好きです。

ホロラボが出来る前はTMCNという3Dセンサーのコミュニティーで活動していたりもあったので、3Dセンサーのことはすごく今でも気になります。 そんな中で、こんなニュースが出ました。

www.moguravr.com

このニュースが気になってLiDARについて調べ始めたら週末の時間の相当を消費。 Twitterでも反応をたくさんいただいて関心のある人が多そうだったので、こちらのブログにも加筆しつつまとめて書いておきます。 ※そして、書き始めたら分量がとんでもないことになってきたので、たぶん3部作ぐらいになりますｗ

ニュース記事自体はAppleがLiDARスキャナ用部品のサプライヤーなUS企業II-VI Inc.(ツーシックス)に、4億ドル(約440億円)をAward(支給？)したとの報道。 ただ、それまでいろいろと知ってた話と総合すると「注目のLiDARのサプライヤー」って言い切ると語弊がありそうだなと思って調べ始めたのがきっかけでした。

LiDARとは何ぞや？

そもそもLiDARって何よ？って話から始めなければなりませぬ。

こちら、AppleがiPad ProへLiDARを搭載する前の2020年1月につぶやいてます。時代の先を行ってるぜアピール。 何で当時これを言ってたかと言うと、Livoxという車載用ながら当時にしては超ローコストなLiDARが発売されたから。

LiDAR(ライダー)はいわゆるアクロニム(acronym)＝頭文字語で、全体を記載すると下記2つのバリエーションがあるようです。

  • LiDAR Light Detection and Ranging - 「光検出と測距」
  • LIDAR Laser Imaging Detection and Ranging - 「レーザー画像検出と測距」

ja.wikipedia.org

2文字目の「i」を大文字で書いたり小文字で書いたり、あとWikiによると軍事関係では「LADAR」と記載したりもあるようで表記ゆれが気になるところですが、光の跳ね返りを見て距離を測る技術って、ざっくり覚えてますｗ

ToF方式とLiDARの進化

代表的なLiDARの方法で有名なToF方式(Time of Flight)を例にしてみます。ToF方式LiDARの構成は発光部と受光部、その計測回路からなります。光源が発行した際の時間と、受光部がその光を受けた時間の差がTime of Flight、光の飛行時間？ということで、この時間差から計算することで対照物までの距離が割り出せる、という原理です。

f:id:takesenit:20210515182403p:plain
LiDARの基本的な仕組み (浜松ホトニクスウェブサイトより)
LiDAR | 浜松ホトニクス

あとこれもWikiを読んでなるほどなって思いましたが、いわゆる「レーダー：RADAR」も「Radio Detection and Ranging」のアクロニム。Radio＝無線も、Light/Laser＝光線もどちらも突き詰めれば「波」って観点では一緒。そう考えると、基本は「LiDAR」が表記的に正統派なのかもとかｗ

Appleが一番最初にLiDAR搭載を発表したのがA12 Bionicを搭載したiPad Pro2機種で、2020/3/18のことでした。世界的に、この日がLiDAR記念日ですね。(謎 www.apple.com

そしてApple製品においては必ず「LiDAR」と2文字目のiは小文字表記されているので、この場合にはLight Detection and Rangingの略である可能性が高そうです。 そしてLiDARセンサーと言わず、「LiDARスキャナ」なのですよね。

シンプルなLiDARとしての測距計

ちょっと話題がそれますが、↑の浜松ホトニクスさんのLiDAR原理をそのまま製品にした感じなのがこの辺のゴルフとかで使う測距計です。写真はニコンのページのものを参照。

f:id:takesenit:20210516094916p:plain
ニコンCOOLSHOT(測距計)・システム詳細

測距テクノロジー | テクノロジー | COOLSHOT スペシャルコンテンツ | ニコンイメージング

ただ、これは直進するレーザーの当たった1点のみしか測れないので、「スキャナ」とは言えない感じ。

それで登場するのがこういうもの。

回転式2D LiDAR

レーザーと受光素子は1つなので、それをモーターで回転させてLiDARデバイスから水平方向360度の距離データを測定します。

これはKickstarterに出てた激安2D LiDAR。動画を見て頂くと、右上のテーブルの上の黒い円筒形のブツがグルグルと120rpmぐらいで回ってるのがLiDARデバイス。左のPCモニタで可視化してるんですが、さすが激安だけあって荒かったりであんまりよく分からないですねｗ

一般的なLiDARはこのタイプのイメージ。

この方式だと、北陽電機LiDARはインタラクティブコンテンツの制作で使ったりなイメージで有名ですね。

www.youtube.com

これでもまだLiDARデバイスを中心にした2D平面しか取れないので、これを3Dにしたい各位がいらっしゃいます。

やっぱり一気に全部センシングしたい「3D LiDAR」

センサー仲間な光輝さんは、2D LiDARの回転平面をもう一つのモーター(Keiganモーター)で物理的に回転させて3Dにしてたり。

他によく見るのが、2D LiDARを2台直交配置して3Dにしてるケースとか。

これはポータブルな産業用スキャナNavVisの着用する3Dスキャナ。THETAで有名な「おっさんが映り込む致命的なバグ」を構造的に取り除きつつ、奥行きの点群もカラーも絶対逃さないぞっていう力強いデザインが魅力的ですｗ

f:id:takesenit:20210516103359p:plain
NavVis VLX: VelodyneなLiDARが頭上と手元にそれぞれ直交関係で配置されてます

www.navvis.com

Solid Stateな3D LiDAR実現のアプローチ

メカ的に回転させるのはコストが高い、耐久性が下がる、物理フットプリントがデカイ、などの様々な課題があるので、最近はグルグルと回さないで3D LiDARを実現しようとしてる動きが多くみられます。詳しくはそれ系の記事があるのでご参照いただければですが、大きく下記のアプローチとその組み合わせっぽいです。

  1. レーザーを複数にしてラインスキャン状態にする
  2. MEMSを使ってメカながらMicroに実現する
  3. 光学的に3D LiDARにする

もともと回転系LiDARを使った自動運転で著名なVelodyneのLiDARは、内部にレーザーを複数チャンネル搭載したものを回すことで限定的ながら3D LiDARを実現する特許を取得していたようで、それで有名なんですね。上記1のアプローチ。

www.youtube.com

このページが経緯については詳しいです。

www.argocorp.com

IntelもRealSenseシリーズでMEMSを使ったSolid State LiDARをリリースしています。3D LiDAR実現に関しては2のアプローチ。

www.switch-science.com

戦争の火種を内包した危険なTweet。。。

そして、肝心なAppleのLiDARスキャナでは、アプローチとしては1の「複数光源」と3つめの「光学的に3D LiDARにする」っていうアプローチを組み合わせたもの、っていう風に武仙は理解をしています。

それを実現してるのが発光素子の「VCSEL: Vertical Cavity Surface Emitting Laser」と、光学素子の「DOE: Diffractive Optical Element」。

次回投稿ではその辺を詳しく見て行きたいと思います。(次回リンク)

ホロラボではLiDARスキャナを使ったiOSアプリも開発しています。
開発のお問い合わせはこちら。

https://hololab.co.jp/#contact

また、ARKitやLiDARを使ったiOSアプリ開発者も激しく募集しています！ hololab.co.jp

面白そうだなと思って頂けたら、ぜひお気軽にお問い合わせください！

Touching Holograms - Microsoft Designブログから

HoloLens 2 UxR

こんにちは、ホロラボ武仙です！

2日前にMicrosoft Designのブログから発表された「Touching Holograms」について。

1 Header Sequence_Oscar_Medium.mp4 from Microsoft Design on Vimeo.

↑の動画を見て頂くと、3DCGの豆腐に手で触れて、突っついて、掴んで、、、っていうインタラクションがとても自然に見えると思います。これだけですごく楽しい動画で、SNSのリアクションを見ると「スゲー」「自然だ！」みたいな感じで受け取られていました。

ただブログ本文を読んでみたら、出来上がった成果のビデオも面白いけれど、どちらかというとそこに至る考え方と試行錯誤のプロセスが楽しかったので、自分のメモのためも含めて書き残しておきます。 ぜひ気になった方は原文をそのままだったり日本語に機械翻訳してチェック頂くことをお勧めします。

本文: medium.com

ブログポストのタイトルが和訳すると「ホログラムに触れる」。

普段この「ホログラム」って言葉を使うのにすごく気を遣っているんですがｗ、ここは敢えて原文そのままにホログラムを使いたいと思います。いわゆる制作方法としての虹色の「ホログラム」を超えた使い方をMicrosoftは敢えてこのブログではやってるように感じてます。HoloLens 2着用者の目の前に、3Dのボリュームを持って提示されるものは「ホログラム」。

以下、メモ的に書いてます。全文訳するのもちょっと違うなと思いつつ、意訳＋感想みたいな感じ。

背景: What if you could treat holograms just like real objects?

HoloLens 2のデモを初めて装着する人に体験してもらう楽しさについて書いてありますｗ

ホロレンジャーな皆さんもよく、デモ体験を提供するときに、初めて体験する装着者に何が起こるか詳しいことを告げずに「掴んで持ち上げて」「そっちに置いて」など、Realなものを扱うのと同じような指示をすることがあると思います。

「おぉっ！」っと、ホログラムのRealな動きに全身で驚くデモ初心者の方のリアクションを見て、ニヤニヤした経験がある人はきっと多いはずｗ

f:id:takesenit:20210515164211j:plain
HoloLensをはじめて体験して「オォッ！」ってなってる人のイメージ

このブログでは、「HoloLens 2におけるハンドトラッキングと視線、視野角の増加によって、インタラクションデザイナーと一般ユーザーの距離が狭まった」と表現されています。「普通の人でも、Realの動作と同じように使える」体験が作れるようになったわけですね。

最新技術は時として専門家にしか使われ得ない複雑さを伴います。しかしながらMixed Realityにおいては今回のHoloLens 2の登場によって、一般人でも特別な操作方法を学ぶことなく、普段の行動の延長として使える最新技術となってきた点がすごくステキですね。

ブログではこの、一般の人でも初見で使えるための考え方や取り組み、より魅力的にするための手法について紹介されてます。

Digital hand twin - 手の「デジタルツイン」

どのようにしてより自然なインタラクションを実現するか。 握る、押す、投げるなどの動作は下記の物理法則の組み合わせで出来上がってます。

  • momentum: 勢い
  • collision: 衝突
  • friction: 摩擦
  • gravity: 重力

これらの物理法則を実現するためにリアルタイム物理エンジンがキーとなります。ゲームなどでは、ユーザーのボタン操作などがバーチャルな物理となって、バーチャルなオブジェクト間でインタラクションを実現します。同様にMixed Realityにおいては物理的なユーザーの動きを(HoloLens 2のジェスチャーなどを介して)バーチャルなオブジェクトとインタラクションさせることで実現します。

2 Physics Intro_Oscar_Medium.mp4 from Microsoft Design on Vimeo.

このビデオで、ハンドジェスチャーで検知されたデジタルツインな手の各ポジションに球形のホログラムが表示されていますが、動きが早くなった際やホログラムのキューブとの接触により該当する箇所の球体が物理エンジンによる勢い、衝突、摩擦、重力が計算されて光っているのが分かると思います。

ただここで問題が発生します。ニュートンの運動の第三法則「作用反作用」。 現実の世界のようにインタラクションを作りたくても、ホログラムでは触覚が提示出来ないのです。

Compensating for missing senses - 失われた感覚を補完

どれだけホログラムの見た目をRealっぽく作ったとしても、現実では感じるはずの触覚がないことからユーザーはその感じることが出来ず、触っている間「ゴースト」のように感じられてしまいます。

Microsoft Designerはこの課題をデザインするため、HoloLens 2で提示可能な「vision:視覚」と「sound:聴覚」の2つの感覚に対してover-communicate: 過剰に感覚提示することで解決を試みています。

触ったり放したりの動作の時に、音を鳴らし、ホログラムは光り、ユーザーにそのホログラムの動作を強く提示します。また、作用反作用はもともと双方向なので、物理での反作用提示が出来ないホログラムは、代わりに光でその関係を演出提示します。

3 Lit Hand_Oscar_Medium.mp4 from Microsoft Design on Vimeo.

手に明るいホログラムを持った手は明るく照らされます。このちょっとしたエフェクト一つでインタラクションに奥行、近接度合い、方向などの情報を付加して、リアルさが格段に上がります。赤く光るホログラムを手に持ったユーザーは「暖かく感じた」と答えたこともあるそうです。

Bending the rules to accommodate users - ユーザー周辺の法則を捻じ曲げる

このチャプターがMixed Realityのすごく面白いところｗ 物理的なリアルさを追い求めた結果、面倒臭かったり不可能だったりで、求めてないバーチャルなものへのインタラクションが発生しちゃいました。

「床に落ちたオブジェクトをしゃがんで拾う」 「はるか遠くに吹っ飛んだオブジェクトを取りに行く」

せっかくバーチャルなのでこういうリアルならではの不便を「法則を曲げる」ことで解決しちゃいます。

Surface gravity

4 Surface Gravity_Oscar_Medium.mp4 from Microsoft Design on Vimeo.

落下する対象が近くにある場合には重力が働きますが、無い場合には宇宙ステーションのように宙を漂う、重力の法則を曲げたインタラクション。

重ねたキューブの倒れた先にテーブルがない場合には落ち切らずに倒れ掛かった状態でふわふわ宙に浮かんでる様子とか面白いですｗ

surface gravityを適用したオブジェクトを高く、手の届かない距離まで放り投げたユーザーがいて、そのオブジェクトを不安定なストールに乗って物理的なリスクをユーザーが冒して回収するケースがあったようです。

それをバカバカしいと感じて、次のインタラクションが産まれました。

“telekinesis” gesture

5 Telekinesis_Oscar_Medium from Microsoft Design on Vimeo.

このtehekinesisはアイトラッキングとジェスチャーの組み合わせで、見つめてるバーチャルオブジェクトに対して掴んだり引っ張ったりなジェスチャーを実施するとフワっと手元に飛んできたり、動かしたりが出来ます。勢い、衝突、摩擦、重力などの物理法則を複合的に曲げて実現するインタラクション。

リアルな世界にはこの物理法則はありませんが、みんなスターウォーズのフォースなどで慣れ親しんだインタラクションなので、恐らく少し練習したらすぐに慣れて使えるようになりそうです。

Emergent interactions - 新しく生まれるインタラクション

ふたつのインタラクションによって実現したビデオのようなリアリスティックな体験はあくまでtangible Mixed Reality interactionの1例で、物理法則を注意深くシミュレートしたデジタル体験においてもっと多様な可能性がある、とのことで、このブログは結ばれます。

いくつか例示されてるなかで、音源のオーナーシップについて「インタラクション表現が変わることによってそのオーナーシップ(所有しているという)感覚にどのような影響を与えるか」っていうケースがすごく興味深い。

How could the feeling of ownership change if you could hold a music album in your hands, put it on your shelf, throw it to your speaker to play, or burn a mixtape and hand it to a friend?

今のデジタル音源の購入はスマホのアプリで決済ボタンを押すだけだし、味気ないプレイリストDBに1行データが増えるだけに感じられます。

これが、街中で掛かってる音源を気に入ったらtelekinesisでドーナッツ盤？を手繰り寄せて、サンプルプレイを楽しんで決済。自分のバーチャルな鞄にドーナッツ盤が挟まって、、、気に入ったらハイファイカセットにお気に入りの他の曲と一緒に吹き込んで友達に投げつけて、、、。

バーチャルで便利になるのはもちろんですが、デジタル体験一つ一つに物理法則を注意深く観察して、Mixed Realityで出来ることや出来ない事を踏まえた新しいインタラクションを考えて、作ってみてっていう試行錯誤をたくさん実施することが重要、なんですね。

ブログの冒頭も、こうやって書いてありました。

The honest answer was, “I don’t know, but try it.”

ホロラボは、XRの可能性や魅力に憑りつかれたたくさんのホロレンジャーが日々Tryしてたくさん失敗？しているエキサイティングな職場ですｗ

各職種で積極採用をしていますので、こういう新しい体験をたくさんの実験から生み出すことに関心のある方はぜひお気軽にご応募ください。

https://hololab.co.jp/recruit/

f:id:takesenit:20210515162915j:plain
ホロラボのホロレンジャーたち

また、もっとくわしくホロラボのことが知りたい方は6/4に開催される「xR合同転職相談会」を視聴してみて下さい。他のXR系の会社さんも出るので色々と聞けて面白そうです！

f:id:takesenit:20210515163009p:plain
xR転職合同相談会
https://www.youtube.com/watch?v=bwO4TCHY8O0

ということで、Mixed RealityでたくさんTry！して、新しい体験を作っていきましょ～！