ブログ@HoloLabInc

株式会社ホロラボのブログです

「ATL-MR」とMRイベントシステム

ホロラボ武仙です。会社のブログで書くのは初めてなので優しくしてくださいw

これから数回に分けてリクルートテクノロジーズさんの研究開発機関、アドバンスドテクノロジーラボ(以下ATL)さんとご一緒に企画開発していますMRイベントシステムについて、開発の経緯や進捗をこちらのブログでお送りしたいと思います。

第一回目は、いきなりですが進捗動画からご紹介と、後半で開発経緯をば。 しかも動画はいきなり長尺。いきなり全部というか大部分の動作してるプロトタイプをお見せします。どん!

*いきなり見ても何か分からんと思いますので、今はあまり細かく見ないでくださいw

  • デザイニウムYoutubeチャンネル

youtu.be

f:id:kaorun55:20181004175045p:plain

現在やってるのは、「RealとVirtualを繋げる」ことと、「デジタル技術によるコミュニケーションの深化」への挑戦。

f:id:kaorun55:20181004175121p:plain

大上段に構えてますが、システム構成的には、ネットワークを介していろんな機材が繋がってる感じ。 Oculus Go、HTC VIVE、HoloLens、Androidタブレット。 そしてシステムの世界には、VirtualとReal、2つの空間があって、相互に作用します。

[開発経緯]
ClusterやVRChatなど、VRコミュニケーションプラットフォームやソーシャルネットワーキングシステムが流行ってきています。少なくとも武仙の身の回りではw

VR空間でのコミュニケーションは現実の空間や物理にとらわれない新しい体験を提供してくれます。実際ATLさんとの企画会議もOculus Roomを使って全員遠隔の状態で実施してみたりしましたが、刺激的なものでした。

f:id:kaorun55:20181004175129p:plain

一方で、この開発プロジェクトでは現実世界の場が持つ魅力にも着目。表情、呼吸、目線、手触り、ざわめき、空気感。

ATLさんが3月に発表された「ATL-MR」のコンセプトムービーの中では、現実の世界であるATL広尾を舞台に、RealとVirtualが混然一体となった世界が描かれています。

LEARNING・DEVELOPING・CO-EVOLUTION

現実のATLという場を基軸に、デジタル技術による繋がりとコミュニケーションが産まれ、共創が実現する。 そんな世界を、実際に作っていきます。

今、ATL-MR実現に向けた試行錯誤が始まっています。

次回以降は個別の技術要素などをお送りしたいと思います。 ご期待ください!

HoloLensビジネスの取り組みについての取材記事が公開されました。

ライターの西田宗千佳さんに取材いただいた、ホロラボでのHoloLensビジネスの取り組みについての取材記事が公開されました。

HoloLensビジネスの動向やよく聞かれる質問、今後を見据えた動きなどを掲載いただいています。

ぜひご一読ください。

www.itmedia.co.jp

記事中のトヨタ社の事例についてはこちらが詳しいです。

ar-bito.com

また、建設業で先を行くインフォマティクス社の取り組みについても合わせてご覧ください。

news.mynavi.jp

「VRコンテンツ開発ガイド 2018」を共著で執筆しました

CTOゆーじが「VRコンテンツ開発ガイド 2018」を執筆で執筆しました。発売日は2018年8月28日です。

VRコンテンツ開発ガイド 2018

VRコンテンツ開発ガイド 2018

  • 作者: あるしおうね,岡田和也,ゆーじ,Gugenka三上昌史,Gugenka姫路拓也,Gugenka五十嵐拓也,Gugenka竹石満里奈,ウダサン(宇田川祥彰),吉高弘俊,神山大輝
  • 出版社/メーカー: エムディエヌコーポレーション
  • 発売日: 2018/08/28
  • メディア: 単行本(ソフトカバー)
  • この商品を含むブログを見る

8月22日から横浜で開催されていたCEDEC2018にて先行販売されています。

f:id:kaorun55:20180822175944j:plainf:id:kaorun55:20180822182257j:plainf:id:kaorun55:20180822182527j:plain

CEDEC 2018にて会場案内アプリを参考展示しました

f:id:kaorun55:20180822103102j:plain

CEDEC2018のインタラクティブ・セッションにて、会場案内アプリを参考展示しました。

f:id:kaorun55:20180824233043p:plain

ベースは以前のコミケ会場案内アプリで、位置やブース情報を入れ替えています。

blog.hololab.co.jp

体験していただいた方にも好評だったので、少しずつ洗練していければと思います。

www.youtube.com

メディア紹介記事

週刊BCN 2018年8月20日号に取材記事が掲載されました

週刊BCN 2018年8月20日号に中村の取材記事が掲載されました。

ソフトバンク S&C 遠藤さんとの対談で、先の業務提携をにもある AR CAD Cloudを中心に建設、製造業でのHoloLens活用についてお話ししました。

f:id:kaorun55:20180815102339j:plainf:id:kaorun55:20180815102527j:plain

blog.hololab.co.jp

記事の内容はこちらでもご覧いただけます。

www.weeklybcn.com

ホロラボにMicrosoft MVP泉本氏、津守氏が合流し、XAML Platform事業部を設立

ホロラボはWindowsデスクトップアプリケーション開発で活躍しているMicrosoft MVPの泉本優輝氏と津守優氏をメンバーとして迎え、XAML Platform 事業部を設立しました。泉本氏が事業部長に就任し、HoloLensと連携するWindowsクライアントアプリケーション開発を推進します。

Windows Mixed Reallity とクライアントアプリケーション

2017年1月にMicrosoft HoloLensが日本に上陸してから1年半が経過し、ホロラボでは実に多くのHoloLens/Mixed Realityアプリケーションの開発を実施して来ました。

一方で、Mixed Realityにより実現する様々な顧客ニーズのすべてを、スタンドアロン動作が可能なHoloLensで実現することは不可能と言えます。これまでも、稲波脊椎接骨医院様向け手術トレーニングアプリケーションなど、HoloLens外のシステムと通信し連携するアプリケーションの開発事例などが多数あり、Mixed Realityと協調動作するWindowsクライアントアプリケーション開発ニーズの高まりを感じていました。

この背景を受けて、Windowsクライアントアプリケーション開発で独自の実績を持つMicrosoft MVP泉本氏、津守氏という優れたチームをホロラボに迎え入れ、クライアントアプリケーション部門「XAML Platform事業部」を設立します。

f:id:kaorun55:20180824230654j:plain

ホロラボXAML Platform事業部、Microsoft MVP泉本氏(写真左)と津守氏(写真右)

同事業部設立により、HoloLensと連携するWindowsデスクトップアプリなどの開発がより高度に可能となり、ユーザーの現行業務へMixed Reality技術を取り込んだソリューションが提案できます。泉本氏が事業部長に就任し、活動をリードします。

HoloLens/Mixed Realityを今まで主流だったPoCレベルのプロジェクトから、本格的な業務システム導入の実現へ向けて、ホロラボは体制を整えて挑戦します。

泉本優輝氏プロフィール

泉本優輝(Yuki Izumoto) 1988年生まれ。関西大学総合情報学部卒業。デザイナーであり、エンジニアであり、経営者でもある。

f:id:kaorun55:20180824230718j:plain

学生時代にはフィジカルコンピューティングやメディアアートの研究を行い、並行して株式会社ソフトディバイスや株式会社フェンリルにてエンジニアとして従事しながらデザインやUI/UXについて学ぶ。また自身も高校時代に参加していた文科省ICTスクールにて3Dコンテンツ開発の講師を行う。大学卒業後には株式会社インターネットイニシアティブにて約1年間ネットワークに従事したのち、フリーランスとして独立。

その後、合同会社 silkyfeelを設立し、津守優(下記紹介)を迎え、UI/UXデザインを組み込んだアプリケーション受託開発を行う。2018年4月に法人としてのsilkyfeelを解散。現在はフリーランスギルドとしてのsilkyfeelへ組織変更し、この度ホロラボへの業務参画となる。

代表的な開発業務として、株式会社マウスコンピューターと乃木坂46のコラボレーションアプリ「乃木マウスギャラリー」がある。

また、2012年から現在までMicrosoft MVPを受賞しており、メンバー1800人を超えるコミュニティHoloMagiciansの設立者でもある。

津守優氏プロフィール

津守優 (Yutaka Tsumori) 1987年生まれ。Microsoft MVP。

f:id:kaorun55:20180824230721j:plain

大阪電気通信大学大学院卒業。大学院卒業後、株式会社富士通コンピュータテクノロジーズでAndroid開発に約6年間従事する。その後、合同会社 silkyfeelへ合流し、今回ホロラボへの業務参画となった。

在籍するMicrosoft MVPが合計10名に

泉本氏、津守氏の両名ともにMicrosoft MVPアワードの暦年受賞者で、CEO中村を筆頭にホロラボに在籍するメンバーのうち実に10名がMicrosoft MVP for Windows Developmentの受賞者です。 Microsoft MVPは個人に贈られるAwardである一方で、ホロラボは企業としても昨年11月にMicrosoft Mixed Reality Partner Program認定を取得しており、個人・組織共に、先鋭的な技術者集団となったと言えます。

f:id:kaorun55:20170112202255j:plain

ホロラボは個人・組織の技術力を結集して、Mixed Realityの業務活用をお客様に提案し、新しいコンピューティングの実現を推し進めます。

prtimes.jp

コミックマーケット94におけるブース案内MRアプリ実証実験を振り返って

ホロラボの初音です。
ホロラボ有志による2018/08/10~12の3日間に東京ビックサイトで開催されたコミックマーケット(通称、コミケ)で行ったHoloLensを使ったブース案内MRアプリの実証実験についてご紹介します。

はじめに

そもそもなぜコミケで行ったかというご質問をいただくのですが、そもそもということであれば、サークルドットエムエスさんが提供しているWebカタログAPIを使ったアプリを数年前から作成していたというのがそもそもの発端となります。

まあ、好きだからコミケに参加していて、好きだからそこで便利に使えるアプリがつくりたくて、同じくコミケが好きなデコシさんアキヒロさんかみながさんに手伝ってもらってということです。

最初にして最大の難関

今回のアプリを作成するにあたり最大の難関はサークルスペースの物理的な相対位置をどう求めるかでした。

サークルスペースのだいたいの配置は、コミケWebカタログに掲載されていますし、サークル情報もWebカタログAPIで取得ができます。1サークルに割り当てらえる机のサイズも(横180cm x 奥行45cm x 高さ70cmを横に2分割して2サークルで利用)分かります。

しかし、机と机がくっついているところはいいのですが、いわゆる誕生日席や島と島の間などの情報はどこにもありません。

そこで、コミックマーケット準備会さんに許可いただいて前日搬入日に計測しました。

コミケの机の配置は素晴らしく規則的で、また、机配置の目印として張ってある床のマークの位置も非常に正確でした。実測をしながら、これは、かなり良い感じに表示ができるのではないかいう予感がしました。

とはいえ、全館すべてを計測するのには時間もありませんでしたので、1日目に技術系サークルが配置される西1フロアの机の位置の計測のみとし、アプリ自体も西1の対応としました。

www.facebook.com

初期バージョンの完成

搬入日(0日目)に実測も終わり、帰宅したら楽しいプログラミングの時間です。
今回の実装はあきひろさんが担当しているのでVSTS(要はgithubみたいなの)でコード共有しブランチとマージとかしながら作り上げていきます。

翌日の1日目に実際にサークルさんが入った状態で(サークルさんに撮影許可をいただいて)撮影したのがこの写真となります。

https://pbs.twimg.com/media/DkMum-RU4AAIDpa.jpg

このときはまだ開場前でしたので一般参加者の方はホールにはいなかったためか非常に快適な動作をしてくれました。何か所か机の位置が違っている部分がありましたので、実測して仮想空間での配置を変えるなど、会場前の時間帯も慌ただしく過ぎていきました。

10時になり一般参加者の入場が始まるとみるみる通行量が増えていきますが、その状態でも起動位置から目の前にサークルさんの机の位置を合わせてしまえば、あとは仮想側のサークル情報が近隣の物理側のサークルスペースの上に張り付いてくれるので非常に便利。意図的に20mしかサークル情報を表示せず、それ以上は島番号(「は」とか「ひ」とか)のみという表示も非常にわかりやすい。

今回、少しでも多くの実証実験データを得るために、知り合いでHoloLens持っている人にも協力してもらって、現地でインストールしてその場で検証してもらうというフローを回しました。個体差もあるけれど、こうすれば3日間で多くの実験ができますからね。持参いただいたみなさんありがとうございます。

実際にお持ちいただいたのは、のべで1日目4台、2日目2台、3日目6台の合計12台。これにこちら側の台数が加わった感じで主に西「て」、「と」、「な」あたりで検証しました。当日、そのあたりに配置されたサークルさんは、HoloLensかけて動き回る不審な人を目撃されたかと思います。お騒がせしまいた。

問題点の明確化

さて、基本的な動作は良いとしても、同時に様々な問題も明確化してきます。

1つは西2から西1に移動すると位置がずれてしまう件。これはこの2つの間の距離をきちんと測れていなかったのが原因です。

そのほかにも、事前にHoloLensでホール自体のスキャンを行っておかないと、L字型の角を曲がると場所をロストしてしまうなど、実際に目線以上の高さに何も構造物がないという独特の広い室内で実証実験してみないとわからない点がいろいろ浮き彫りになりました。これらについては随時解決策を現地で入れてみて再度確認するなどを行っています。

2日目(操作方法の実証実験)

2日目は位置合わせの操作方法を別方式にする検証を行いました。

1日目は上下左右はドラッグ、方向合わせはホールドとしましたが、2日目以降は上下左右と方向もドラッグでできるようにしました。
個人的には1度で操作できる2日目以降の操作よりも、ホールドで方向がきっちりあわせられる1日目の操作感の方がなんか照準あわせるみたいで気持ちよかったですね。

3日目(サークル位置表示機能の実証実験)

3日目には、2パターンのサークル位置表示機能を実装して、それぞれ現地調整とかデバッグを行いました。やはりどういった形であれナビゲーション機能があると更に利便性が向上しますね。

3日目、予期せぬ難敵との邂逅

このように3日かけて成熟度が増しましたが、さすがに3日目は戦場といわれるだけあって、それまでに露呈しなかった問題点も見つかりました。しかも根が深いやつが。

まずは、ドラッグで位置合わせできるようにしていたのですが、通行する人の指先に反応してしまって、いつの間にかずれてしまうという現象が発生することがありました。やはり、メニュー形式などにして意図的に操作モードに入らないと操作できないようにするのも重要ですね。

次に、3日目の東ホールはすさまじい賑わいでしたので、人で床が見えない=HoloLensが床を見失ってしまうという現象も経験しました。人大杉というやつですね。こちらの解決策は今後の課題になります。

以上のように机上や他のイベントなどでは得られない多くの知見と、また、HoloLensにご興味を持っていただいた多くの方と接することができた大変有意義な実験となりました。

実証実験を終えての雑感

写真を撮らせていただくことのご挨拶がてらサークル参加者の方にもかぶっていただくと、最初、何が表示されているか分からず「サークル情報でていませんか?見渡してみてください」というと初めて驚きの声と「これ欲しい」と言っていただけるのが印象的でした。

最も印象的だったのは、体験していただいた方がHoloLensを外した直後に「うわ、私の目、情報量なさすぎ」との発言されていたのがすごく印象的でした。

■コミックマーケットとは(https://www.comiket.co.jp/info-a/WhatIsJpn201401.pdfより抜粋)

マンガ・アニメ・ゲームその他周辺ジャンルの自費出版(同人誌)の展示即売会であり、夏と冬にそれぞれ3日間開催されています。夏と冬の開催については東京ビックサイトでの開催が続いています。主催はコミックマーケット準備会となります。

■サークルドットエムエスとは

コミケでは参加サークルの情報を「コミックマーケットカタログ」という1400ページにもなる冊子として販売しています。サークルドットエムエスは、このカタログの版下作成、出展サークルの申込システム、サークル当落検索システムなどを委託されている会社です。

■WebカタログAPIとは

一般参加者はコミックマーケットカタログをみて来場時の注意事項やお目あえてのサークルの場所を確認し、当日は、サークル番号を頼りにサークルスペースを巡回するということになります。家電話中心時代の分厚い電話帳のようなサイズ感のため、1日目、2日目、3日目の塊でサークル情報掲載ページを切り出して自前で小冊子にしてコミケに参戦していたものでした。
最近ではこのカタログのDVD-ROM版もあり、また、WEB版であるコミケWebカタログが登場してお気に入りのスペースをマークすると地図と一緒にお気に入りサークル一覧が印字できるなど非常に利便性が向上していてITってすごいなーとその恩恵に涙したものです。 https://webcatalog.circle.ms/ サークルドットエムエスが提供するWebカタログAPIとは、このコミケWebカタログの情報を取得できるAPIで、開発者登録することで誰でもが自由に利用することができるAPIです。

■ブース案内MRアプリとは

今回作成したブース案内MRアプリは、WebカタログAPIから取得したスペース番号、サークル名、概要をそれぞれのサークルスペースの上に表示するアプリです。 また、今後の機能としてお気に入りに登録したサークルの場所表示やそこまでのルート表示などの実験の現地で実施しました。

■今後の展開

  1. 今回は搬入日に実測ということでしたので机の配置のみを仮想空間に行いましたが、ホールの壁などもきちんと配置し、また、起動位置での位置合わせだけではなく、ホール自体にある排煙装置のマークや非常口マークなど適切な印をマーカーにして、マーカー合わせによる位置合わせ機能なども実装していきたいと考えています。そのためには、ホールの図面を入手するなどいくつか超えなくてはいけないハードルがありますが、これが実現できればコミケ以外のビックサイトでの展示会でも同様なことができると考えます。
  2. 人が多すぎてHoloLensが床を認識できなくなるということがありました。こちらについても対策を検討・実験していきます。
  3. 多数の人が行きかうときのUI/UXについて対策を検討・実験していきます。
  4. コミケットWebカタログへの個人ログインを実装し、お気に入りサークルの取得、そこへのルート案内などの実装を検討・実験していきます。

今回は、最小限の機能での実装でしたが「これが欲しかった」とのお声をたくさんいただくことができ、アプリの方向性としては正しかったという実感を得ました。
次回以降、もっと実用的で「この機能が欲しかった」と言っていただけるようにしていきたいと思います。

最後に、ご協力していただいたすべての参加者の方に心から御礼申し上げます。
これからも本アプリともどもよろしくお願いいたします。

関連記事