ホロラボ Advent Calendar 2024の20日目の記事です。
こんにちは、執行役員／新規事業開発部Group Leadの及部です。
今回は、「DXからAX（AIトランスフォーメーション）へ、製造業や建設業の現場で起きていること」をテーマにお話します。
XRの会社が生成AI？
ホロラボは、これまでXRや空間コンピューティング技術を強みに事業展開してきました。そのため、顧客は製造業や建設業など「現場」を伴う業種が多く、私自身も特にその領域でデジタルトランスフォーメーション（DX）支援に取り組んできました。
2023年はChatGPTをはじめとする生成AIが注目され、「生成AI元年」とも呼ばれる年でした。私たちもその流れの中で、自然と業務でも生成AIに取り組むようになりました。XRとAIは一見かけ離れた技術領域のように感じられるのかもしれませんが、「ホロラボさんもAIやるんですね！」と驚かれることが何度かありました。
しかし、私たちはAIを技術要素の1つではなく、あらゆる技術を支える基盤のような存在だと捉えています。生成AIは日々進化し、マルチモーダル対応や空間情報解析など活用領域がどんどん広がっています。たとえば、ARグラスから読み取った空間情報を生成AIで解析してリアルタイムに視界に重ね合わせたり、グラスをかけたままハンズフリーで音声入力を使って生成AIによる業務支援を受けるといったシナリオも、すぐそこの未来まで来ています。
とはいえ、今回の記事では壮大な未来像を語るつもりはありません。「DX」や「AX」というキャッチーなキーワードをタイトルに入れつつも、実際の現場で泥臭く問題解決に向き合う中で、なぜ自然と生成AI活用へと向かっていったのか、そのリアリティをお伝えしたいと考えています。
なお、Hololab Tech Showcase 2024でも、こうしたテーマに関連する講演を行いました。よろしければこちらもご覧ください。
「2024年問題」に本気で取り組む！ 言葉だけじゃないDXを目指すAI活用の現在地 - 生成AIからAIエージェントへ -
製造業や建設業の現場で起きていること
これまでの取り組みをふりかえり、製造業や建設業の現場で起きている問題と、それに対するDXという祈りに近い期待を整理すると、以下のような構図が見えてきます。
少子高齢化や働き方改革などのさまざまな社会的要因により、現場の労働力不足は深刻化しています。ベテランの数が減っていく中で、業務を維持・発展させるには新卒・中途・外国人労働者といった新戦力人材を確保せざるを得ません。しかし、人材確保がゴールではありません。新戦力人材が短時間で独り立ちし、さらにはベテラン並みの生産性を発揮してもらう必要があります。実際、既に多くの新戦力人材が現場に入ってきていますが、その教育もベテランに依存しており、日常業務と教育の両立がベテランたちの過剰な負担となっています。
こうした構造的な問題からなかなか抜け出せない背景には、「業務上必要な情報を収集して業務をまわせるようになるまでに時間がかかる」ことが大きな影響を及ぼしています。
現場ではいまだに紙の書類を使った業務が残っています。これらは習慣として残っていることもありますが、行政や取引先とのやりとりなど社内だけでは改善が難しい理由も重なって、デジタル化が進まない状況が存在します。また、既にデジタルデータが存在していても、社内システムやファイル管理ツールなど、データが散在し、異なるバージョンの同様のデータが複数箇所に存在していたり、複雑な状況が生じています。これらの中から業務に必要な情報を選び抜くためには経験知が不可欠で、新戦力人材がこの力を身につけるまでに平均して5〜10年もの時間がかかるそうです。
こうした現状を打破するために、「新戦力人材でも業務に必要な情報を容易に取得できる仕組み」を目指して、さまざまなDX施策に取り組んできました。
データをデジタル化し、散らばった情報を集約していく旅
取り組んできたDX施策を、ざっくり抽象化すると以下のようなストーリーを思い描いています。
まず、業務に必要な情報を集めるためには紙、社内システム、ファイル管理ツールなどさまざまな情報ソースに当たらなくてはなりません。それらを使いこなせるかどうかは経験知に依存しています。
最初の一歩として、一部のデータをデジタル化し、それを基に試験的なソリューションを構築・検証（Proof of Concept = 概念実証）します。
コンセプトが固まったら、徐々に業務での利用範囲を広げ、うまく軌道に乗ったところで、さらなるデジタル化やデータベースへの集約を進めていきます。多様なデータが一元的に扱えるようになるほど、より複雑な問題解決や高度な活用が可能となり、DXの実現に近づけていくというストーリーです。
DXのアプローチを一言で表すと、「データをデジタル化し、散らばった情報を集約していく旅」です。
DXに立ちはだかる2つの壁
こうした取り組みを繰り返してきて、なかなかDXが実現しない理由として2つの壁があるように感じています。
第1の壁は、「データをデジタル化し、集約する壁」です。 まずはとっかかりをつけようとPoC（Proof of Concept = 概念実証）を行いますが、その取り組みはたいていの場合、「もしもデータが準備できれば、こんな問題解決ができるかもしれませんよ」という形式になります。ですが、データをデジタル化すること自体に大きなコストがかかります。ソフトウェア投資がされたとしても、結局は人力でデータ入力しないといけないので、なかなかデジタル化が進みません。
第2の壁は、「ユーザーのITリテラシーの壁」です。 実際に素晴らしいソリューションができたとしても、新たな壁が立ちはだかります。特にスマートフォンネイティブ世代などデバイス操作に慣れている人たちは、すぐにソリューションを使い始めてくれて、その効果を実感してくれることが多いです。彼らは実際に現場で課題を抱えているため、巻き込み、協力体制を築きやすいです。しかし、本当に業務の中にソリューションを組み込んでいくためには、必ず新戦力人材をマネジメントしている人たちを巻き込んでいかなければなりません。普段の業務の中でPCやデバイスを利用していない人たちも多いため、簡単な操作であったとしても抵抗感が強くて、そこで頓挫してしまいます。
これまでさまざまなDX担当の方とお話してきましたが、この2つの壁のどちらかあるいは両方にぶつかり、DXの取り組みが前に進まないという現状があるように思います。DXという言葉を聞くようになってしばらく経ちますが、多くの企業では「スローガン」にとどまっている現状があります。時代が過ぎ去って人が入れ替わるのを待つしかない、そんな諦めの声を聞くこともありました。
生成AIの登場によって突破口が！？
ChatGPTをはじめとする生成AIプロダクトが登場し、慣れ親しんだチャットUIで、自然言語を使って気軽に利用できるAIに多くの人が衝撃を受けました。もちろん業務で活用できないか、という流れが生まれ、2023年以降こうした取り組みは各社で加速度的に増えました。
私たちも、チャットUIで気軽に建物の施工情報や仕様や要件を尋ねることができる「建物みえるくん改」というデモをつくりました。これは、建設業でよく登場するBIM（Building Information Modeling）を情報ソースにして、チャットUIで自然言語で建物の中の仕様や要件を聞くことができるというものです。
これは、RAG（Retrieval-Augmented-Generation）という仕組みを使っています。RAGは、LLMによるテキスト生成に、外部情報ソースの検索結果を組み合わせることで回答精度を向上させる技術です。今でも生成AIの取り組みの中でよく使われる仕組みですが、大きな利点は既にもっているデータソースを活用することができる点です。プライベートなLLM環境を構築し、既に社内に存在しているデータソースとつなげて活用することで、情報公開範囲を社内に限定しながらLLMを活用することができます。
こうした生成AIを活用した取り組みは、DXに立ちはだかる2つの壁の突破口になりうる可能性があります。
第2の壁である「ユーザーのITリテラシーの壁」に対して、自然言語とチャットUIの組み合わせは強力です。PCやデバイスによる操作になれていない方でも、業務やプライベートの中でチャットアプリケーションを使われている方はとても多いです。同じユーザー体験の中で問題解決がなされるのであれば、抵抗感をおさえることができるかもしれません。
これまでは、紙やPDFといったデータを活用するためには、デジタル化をして構造化データに変換する必要がありました。その際に、ソフトウェアを導入したとしても、デジタル化作業自体は人力で行わなければならないことが多いです。なぜなら、もととなる紙やPDFのデータはデジタル化目的で作成されていないため、文章だったり、フォーマットがバラバラだったり、表記揺れがあったり、構造化されていないデータだからです。これらをプログラムで一括インポートするのはなかなか難しく、業務内容をある程度把握している人が、人力で構造化データに変換する必要があります。これが、第1の壁である「データをデジタル化し、集約する壁」でした。
しかし、LLMを活用することで、構造化されていないデータでも、それなりの精度で解釈して構造化データとして扱うことができます。もちろん精度の問題はありますが、精度はそこそこになったとしても人力でデジタル化する工程をスキップする選択肢を取れることは大きなメリットです。
生成AIの取り組みの中では、「精度」の話題がよく出てきます。たしかに精度を求められる業務が存在する一方で、そこそこの精度でもいいから気軽に使えることが大きな利点になる業務もたくさん存在します。また、精度を求められる業務に関しても、過程の部分をLLMを活用して自動化し、出力されたものを人がチェックし加工することで、全体のリードタイムを大幅に縮めることができます。そして、この1年の変化を見ても分かる通り、生成AI自体の進化のスピードが凄まじいため、精度の問題は時間の経過とともにどんどん解消されていく部分だと考えています。
生成AIによってうまれた新たな二極化
生成AIの登場から1年が経過し、生成AIプロダクトを業務の中で活用したり、RAGなどを用いた生成AIを活用したソリューションを活用する機会がとても増えました。こうした中で新たな二極化が生まれています。
自然言語とチャットUIの組み合わせは、多くの人が使い慣れているため非常に強力です。一方で、プロンプト（＝指示や命令）と呼ばれる入力値によって得られる回答が大きく変わります。
仕事ができる人たちは、効果的なプロンプトを書くことができます。仮にLLMから良い結果が得られなかったとしても、プロンプトをチューニングしていくことで結果的に良い結果を手に入れて業務を効率化していくことができます。一方で、これから仕事を覚える人たちは効果的なプロンプトを書くことが難しいです。また、LLMから返っていた回答を見ても良し悪しが判断できないため、なかなか業務に活かすことができません。
生成AIから望ましい結果を得るために、プロンプトを設計し最適化するスキルのことを「プロンプトエンジニアリング」と呼びます。もはや新しいプログラミング言語といっても過言ではありません。
仕事ができる人たちはLLMを活用し、どんどん自分の業務を効率化して生産性を高めていきます。一方で、これから仕事を覚える人たちはLLMをうまく活用することができず、これまでと変わらない状況に留まってしまいます。このような二極化が現実として生まれています。
いかに気付いていない情報に気付いてもらうか
この二極化の問題に対して、いくつかの取り組みをしてきました。
一つは大成建設様と取り組んだプロジェクトです。大成建設様とは、数年にわたりDXプロジェクトをご一緒しております。その一環で、2024年初頭に生成AIを活用した取り組みを行いました。
C3-BIMというプロダクトは、誰でも設計図書（データ）や社内外の文書から必要な情報を探すことができる「検索エンジン」です。図面に関する専門的な知識が備わっていない、かつ業務情報が社内のどこにあるのかわからない新入社員や派遣社員のような新戦力人材でも素早く必要な情報を取得、確認することができるWebベースのプロダクトです。
自然言語によって情報を検索できるという点ではよくあるプロダクトです。しかし、回答結果の内容を工夫しています。
まずユーザーは担当している建築プロジェクトの中で知りたい情報を自然言語で質問を投稿します。質問文を解析し、次のような回答を出力します。
- AIからの回答
- 投稿された質問文に対して、生成AIがBIMデータを活用して回答結果を出力します。
- 回答に関連した部屋の情報
- AIからの回答に関連した部屋情報を表示し、PowerBIダッシュボードへ飛んで詳細の設計情報を確認することができます。
- 関連性が高い社内外の文書
- 投稿された質問文とAIからの回答をもとに、関連性が高い社内外の文書のドキュメントのリンクを表示します。
- 社内文書は、特記仕様書や社内にある溜まっている施工事例などのノウハウ集が情報ソースです。
- 社外文書は、公開されている標準仕様書やノウハウ集が情報ソースです。
- ドキュメントのリンクは、関連した情報が記述されている箇所に飛ぶように設定されています。
それぞれの回答は、LLMを活用して生成しています。LLMから返ってきた回答を使ってさらにLLMに問いかけたり、複数のプロセスを同時に走らせて回答を生成しています。
狙いとしては、「ユーザーが気付いていない情報に気付いてもらう」ことです。ターゲットユーザーが新戦力人材なので、前述の新たに生まれた二極化にあるように、よい質問文を書けない可能性が高いです。そのため、単純に質問に対して回答するだけでなく、拡大解釈して関連しそうな情報をたくさん提示することを意図しています。
これらのもととなる情報は、BIM・紙・PDF・Excelというさまざまなデータフォーマットで、社内システム・ファイル管理ツール・Web上など散在していたデータです。
こちらの取り組みに関しては、HoloLab Conference 2024で講演をしたので、ご興味がある方はぜひご覧ください。
BIMから3次元モデルを消してみたら意外に便利だったR2-BIMがAIによってさらに便利になりました
敢えてユーザーにプロンプトを書かせない
もう一つの取り組みは、私たちのチームでつくってみたデモ、「仕事できるくん」です。
製造業や建設業では、書類をきっかけにした業務がたくさん残っています。仕事できるくんはそうした業務をターゲットにしています。業務で使用する書類（PDF）をアップロードして、ボタンを押すと生成AIによって解析した結果が出力されます。ユーザーは質問文やプロンプトを入力する必要がありません。
仕事できるくんの狙いは、現在の業務でベテランが行っていることを生成AIによって再現することです。
現在ベテランの方がターゲットにしている業務をどのように行っているかというと、書類を読みながら経験知をもとにいくつかの観点で必要な要件を抽出しています。抽出した要件を、実際の設計情報ではどうなっているのか設計図書等から情報を収集し、照らし合わせて要件を満たしているのかを確認しています。
こうした業務を生成AIによって再現することを試行してみました。
ベテランの経験知をプロンプトに変換し、他人が活用できるようにすることを目指しています。そうすることで、新戦力人材でも同じ業務を行うことができるようになります。経験知をプロンプトとして形式知に変換していくことになるので、生成AIを活用した技術継承と言えるかもしれません。
ユーザーにプロンプトを入力させてソリューションから得られる結果の質をユーザー依存にするのではなく、あらかじめ業務を分析し、チューニングされたプロンプトをシステムの裏側で活用する。これは、LLMを活用したアプローチの一つの型になりうるでしょう。
仕事できるくんに関しては、HoloLab Conference 2024で講演をしたので、ご興味がある方はぜひご覧ください。
仕事できるくん：文書とBIMに関連する大変な作業をChatGPTにやらせてみるとみんな仕事ができるようになる！？
そしてAIエージェントへ
今後の生成AIのトレンドとして「AIエージェント」に注目をしています。2024年11月19日に開催されたMicrosoft Ignite 2024においても、AIエージェントの話題が盛り沢山でした。
これまでにOpenAI社のSam Altman氏が度々発信されているように、ChatGPTはまだまだ進化中です。現在のChatGPTは「Level1：チャットボット」と「Level2：推論者」の間くらいのステージで、次の「Level3：エージェント」の実現に向けてさまざまな機能のアップデートが日々繰り返されています。
AIエージェントとは、人がいちいち指示をしなくても、自分でやることを考えて、さまざまなツールを活用して目標に向かってタスクをこなしていくAIの仕組みのことです。そして仕事の支援に留まらず、完了を目指すことも大きな特徴の一つです。
私も勉強中ですが、概要をつかむために読んだ下記の書籍が個人的におすすめです。
企業の中の現状を見てみると、業務毎に社内システムが使われていたり、他社のパッケージやSaaSを使っていたりします。これまでの生成AIを活用した取り組みもその構図からは外れておらず、また新しいツールが一つ増えることになります。従業員目線で見たときに、一つの業務をこなすときに一つのツールで完結せず、複数のツールを使いこなして業務をこなしていくことが多いです。この状況は、経験知やITリテラシーなど人に依存します。
それに対して、AIエージェントの考え方はツールや生成AIの使い方自体を生成AIに任せて仕事を変わりにやってもらうというものです。これが普通になった世界観を想像すると、これまでの生成AIの盛り上がりはほんの序章に過ぎないように感じます。AIエージェントがふつうになってからが生成AIの本領発揮なのかもしれません。
少し話は戻りますが、「仕事できるくん」のときにつくっていたデモの仕組みはLangChain Agentsを利用していて、初歩的なAIエージェントのようなつくりをしていました。業務を分解したときに、それぞれ別のツールを使って行う小さな業務を生成AIに任せ、その結果を組み合わせて全体の業務を推進する。AIエージェントのことを学べば学ぶほど、筋は悪くなかったんだな！と思うようになりました。
DXとAXは地続きである
DXやAXという言葉はバズワード化していて、飛び道具のように感じてしまうかもしれません。もしくは生成AI自体も、結局流行り物で、それほど業務で使えないと感じている方もいらっしゃるかもしれません。
しかし、ここまでお話してきたように、現場の問題に向きあって取り組んできたことと、技術の進化やトレンドを照らし合わせてみると、着実に前に向かって進んでいることを感じます。完全に問題が解決することはこれまでできなかったかもしれませんが、試行を繰り返すことで少しずつ問題が移動していき、それに対して生成AIなど新たな技術が追いついてきているような感覚を得ています。
DXとAXは地続きです。
最後に
ホロラボでは、今後も 「空間コンピューティング×AI」 に力を入れていきます。詳細は、私が所属している新規事業開発部で一緒に働いている久保山さんが書いた「今、新規事業に投資する理由 -空間コンピューティング×AIを社会にチューニングしていく-」をご覧ください。
また、今回ご紹介した生成AIの取り組みにご興味がある方や、「生成AIを活用した問題解決をしたい」と考えている方はぜひお問い合わせください。情報交換や壁打ちからでも構いませんので、ぜひお気軽に。お問い合わせはこちらから！
もし、この環境で一緒に働くこと、あるいは会社や取り組み自体にご興味を持ってくださった方は、ぜひ採用ページをご覧ください。
また、「ちょっと話を聞いてみたい」「現場の生々しいAI活用の話をしたい」「とりあえず雑談したい」という方は、気軽に雑談できる場もご用意しています。
これからも自分たちの取り組みを、ブログやコミュニティなどさまざまな場面で発信していきます。ご興味を持たれた方は、ぜひお気軽にお声がけください。
