株式会社バンダイナムコ研究所 技術開発本部 先端技術部 マネージャー
2009年、北陸先端科学技術大学院大学博士後期課程単位取得退学後、株式会社バンダイナムコゲームス入社。株式会社バンダイナムコスタジオより分社化した株式会社バンダイナムコ研究所所属。バンダイナムコ研究所では、グラフィックス、AIといった先端技術研究を行う先端技術部のマネージャーを務める。R&Dチームのマネジメントやバンダイナムコ研究所のR&Dプロジェクトのディレクションや「ミライ小町」プロジェクトの3Dデータなどのテクニカルディレクションを担当。本プロジェクトでは、研究開発のプロデューサーとしてゲームの開発会社にあるモーションデータを研究対象としたAIプロジェクトを推進中。
株式会社ACES 取締役/COO
2019年東京大学工学系研究科システム創成学専攻修了。集団や組織を科学することに興味を持ち、学部では感情解析を用いたSNS分析、大学院ではチームの協調行動に関する研究に従事。在学中からプログラミング教育ベンチャーでのメンターを務めるほか、生物情報スタートアップに立ち上げ初期から参画し、特許技術の企画開発や自社サービスの開発を担当。2017年、大学院在学中にACESを共同創業。Project Managerとして、複数の共同研究を運用、統括しつつ事業開発にも取り組む。
メタバースやxR技術など三次元モーションを使用する研究開発を手がける株式会社バンダイナムコ研究所。日々、「革新的なエンターテインメント」を追い求めるなかで、ACESと共同研究を進めているのが「AIを活用したキャラクターモーションの生成」です。
老舗メーカーであり、世界的にも知られるバンダイナムコホールディングスを親会社に持つバンダイナムコ研究所。そして、AI領域のスタートアップであるACES。歴史や規模の異なる企業同士が共同研究を進めるうえで、いかなる観点に気をつけたのか。株式会社バンダイナムコ研究所の髙橋誠史氏と、株式会社ACES取締役の與島仙太郎が振り返りました。
髙橋 今回のACESさんとの共同研究プロジェクトでは、人体骨格を持った3Dキャラクターのモーションに、AIでバリエーションを持たせる試みでした。従来はキャラクターの動作に対するイメージに近いアクターに、格闘技やダンスといった動きを依頼し、それをモーションキャプチャー装置を使って収録し、データ化してきました。
しかし最近は、キャラクターをプレイヤーが好みにカスタマイズする機能が増え、また将来的なメタバース空間での活用も鑑みると、あらゆる年代や人物の動きを全て収録するのは難しい。そこで、AIによる「モーションスタイル変換」という技術の研究を進めています。「歩く」や「走る」といったある基本の動作を収録し、それをAIによって男性、女性、老人、子どもといった特徴ごとにデータを変換することで、モーションのバリエーションを増やそうとしているのです。
與島 もともと、ACESがカメラで人を撮って動きを認識し、様々なアプリケーションに活用するプロジェクトを進めるなかで、骨格や身体についてもデータとして扱ってきました。そこにゲーム開発でよく使われるモーションデータとの関連性を感じられて、ご相談いただいたのでした。
ACESとしてもディープラーニングの技術や人の動きを観察する技術は得意な領域でしたから、ちゃんと調べた上で必要なデータを定義し、共同で研究開発したら実現できると考えました。最初はサーベイと要件定義から一緒にはじめましたね。最終的にどういった目的のために作りたいか、いかなる理想を目指すのか。そのために集めるべきデータは何か、といったところから検討させていただきました。
髙橋 我々はクリエイターを多く抱えるゲームを作る専門家集団であり、モーションデータも多く扱ってきました。しかし、そのデータをAIにかける専門家が社内にはいなかった。それもACESさんと組んだ大きな理由です。確かにゲーム会社では専門家がいない場合には「学びながら進める」というケースもあるのですが、モーションの専門家をAIの専門家にするのは、やはり難しい。また世の中に「ゲームクリエイターとAIの専門家」の両方を兼ねた人も市場には見当たりませんでした。
それならば、AIの専門家が、モーションの領域に近づいてもらう方向で、機械学習や深層学習の専門家を抱える企業と一緒に取り組むことが得策だと考えました。モーションデータの研究に対しては未知のところがありつつも、ACESさんはすでに「動きのデータ化」に取り組まれてきていますから、その知見も活かせるところがあるだろうとも感じたんです。
與島 今回、ご一緒して感じたのは、バンダイナムコ研究所さんが長い目を持って、チャレンジングなことをすると決めてくださったことが、とても大きかったと思っています。たとえば、成果物を定義する際に「今すぐできるものを作って使いたいのか」と「3年後を見据えたものにしたいのか」で、当然チャレンジできる内容も変わります。今回、非常に新しいことを共同研究できているのは、バンダイナムコ研究所さんが開発に数年単位をかけられる研究組織という恩恵があったからこそ。こういうスタンスで臨んでくださる企業は、個人的にもなかなか稀な存在だと感じています。
髙橋 我々のR&Dのメンバーにもよく言うことがあるんです。まずは、コンテンツを送り出すコア技術にまで採用されるフェーズは数年単位で取り組む覚悟が必要であること。そして、他にも様々な研究企業がある世の中において、バンダイナムコ研究所の職員は研究者やエンジニアでありながら「クリエイターである」ということを意識することです。
與島 個人的には、そういった意識を持たれて取り組むバンダイナムコ研究所さんの立ち位置がとても好きです。ゲーム業界のミドルウェアになるものを研究開発することは、ある一つのIPプロジェクトだけに適用させて技術を作ろうとしてもROIが合わないでしょう。しかし、数々のプロジェクトに使える基盤となるものを作り、未来へ展開していくのであれば、ROIの合うものにすることができる。
今回のプロジェクトも、腰を据えて作り、適用しやすい場所から価値を発揮していき、データベースが充実していくことで、価値がさらに増していくものです。変換できるモーションのバリエーションを積み上げることで、他社に対する競合優位性も増していくわけですから、そこへ投資される観点は共同研究をする私たちにとっても、ありがたいものです。
髙橋 一方で、スタートアップのACESさんと比べて、共同研究のやり取りに際しては、スピード感では我々も早めなければと心がけたところです。このプロジェクトはACESさんに単純に全ての開発をお任せするものではなく、こちらからも収録したデータなどをお渡ししたり、前もって決めたりするべきことがありましたから、社内稟議などをなるべくスムーズに進行できるようにしていました。
與島 私が知る限りでは、大企業さんの中ではかなり早い対応をしていただいたと感じています。たとえば、ミーティングを通じた社内の意思統一についても1か月以内に開催できればよいほうで、3か月たっても難しいというケースもありますから……。
髙橋 やはり期間を決めて共同プロジェクトとして契約し、限られた時間内で最高の仕事をすることを考えると、時間は「仕事を請ける側」にはとても貴重なんですよね。それはゲーム工程でも同じなんです。規約やルールなどを決める側が遅くなると、実際に手を動かして作るクリエイターが使える持ち時間が減ってしまいますから。
與島 ありがとうございます。基本的にはプロジェクト開始時に、ACESからスケジュールを提案させていただき、基本的に月に1回以上の定例を重ねて、個別の依頼はSlackでやり取りをしながら、モーション撮影はオンサイトで実施という進め方でした。
與島 ACESはさまざまな企業とプロジェクトを実施していますが、いずれもAIという探索型の案件についてプロジェクトマネジメントをしてきました。タスクとスケジュールを設定し、炎上させずに成功にたどり着くための進め方については、社内でも知見が貯まっています。たとえば、「プロジェクト初期にタスクを増やしてでも、余裕を持って進められる計画を立てる」や「集めるべきデータの不確実性を減らす」といった施策から、「AIを学習させるためのマシンパワーを補うリカバリー策を設定しておく」や「結果を評価する際にはできる限り短く済むように仕組みを整える」といった具体策もあります。それらのイメージが頭の中で算段がついていますから、未踏のプロジェクトであっても実施期間の見込みがつくんです。
髙橋 確かに最初は「落とし穴は何があるか」を早めに理解し、ひたすら不確実性をつぶす動きをしてきましたね。
與島 不確定なものがあるとすれば、AIが生成してくるものの成果ですね（笑）。特に上期結果はまだ変換精度が見劣りしていましたが、下期は一定以上に狙い通りの成果が出せました。あるモーションを人間が見て意図通りになっていたとしても、アルゴリズムから見て「欲しいデータ」になっているのかは、まだ完璧には把握できていませんから、引き続き研究を重ねていきたいです。
最先端アルゴリズムを独自モジュール化し、
提供しています。
技術を見る
