株式会社バンダイナムコ研究所 技術開発本部 先端技術部 マネージャー
2009年、北陸先端科学技術大学院大学博士後期課程単位取得退学後、株式会社バンダイナムコゲームス入社。株式会社バンダイナムコスタジオより分社化した株式会社バンダイナムコ研究所所属。バンダイナムコ研究所では、グラフィックス、AIといった先端技術研究を行う先端技術部のマネージャーを務める。R&Dチームのマネジメントやバンダイナムコ研究所のR&Dプロジェクトのディレクションや「ミライ小町」プロジェクトの3Dデータなどのテクニカルディレクションを担当。本プロジェクトでは、研究開発のプロデューサーとしてゲームの開発会社にあるモーションデータを研究対象としたAIプロジェクトを推進中。
株式会社ACES 取締役/COO
2019年東京大学工学系研究科システム創成学専攻修了。集団や組織を科学することに興味を持ち、学部では感情解析を用いたSNS分析、大学院ではチームの協調行動に関する研究に従事。在学中からプログラミング教育ベンチャーでのメンターを務めるほか、生物情報スタートアップに立ち上げ初期から参画し、特許技術の企画開発や自社サービスの開発を担当。2017年、大学院在学中にACESを共同創業。Project Managerとして、複数の共同研究を運用、統括しつつ事業開発にも取り組む。
メタバースやxR技術など三次元モーションを使用する研究開発を手がける株式会社バンダイナムコ研究所。日々、「革新的なエンターテインメント」を追い求めるなかで、ACESと共同研究を進めているのが「AIを活用したキャラクターモーションの生成」です。
今回の共同研究プロジェクトは、現在進行形でありながら、収録したモーションデータを「AI研究開発用3Dモーションデータセットを無料で公開する」という試みがなされています。オープンソース化に踏み切った理由はどこにあるのか。株式会社バンダイナムコ研究所の髙橋誠史氏と、株式会社ACES取締役の與島仙太郎が、その狙いについて明かしました。
髙橋 現在、公開しているのはAIを作るための元になる、合計で約14,400秒分のモーション収録データです。データを公開したのは、一つには研究開発というのは我々だけで進める以上に、広く世の中から出てくる成果によっても進化すること。
このプロジェクトは海外論文をもとに独自の研究成果を交えていくフェーズになってきていますが、やはり自らもアカデミックな領域や貢献していけるものを返していきたい、という想いがあります。ただ、すでにゲームで使用されているモーション素材は提供できません。しかし、今回のプロジェクトではノウハウを蓄積して改善していく方がリスクが少ないと判断して、モーション収録を新規で行ってきましたから、それらはバンダイナムコ研究所が全ての権利を有しているものであり、公開することに対しても制限はありません。
もちろん、すべての企業で同じ判断ができるわけではないとは思いますが、バンダイナムコの社風としては公開することには前向きでしたから、それならば実施しようと。アカデミックな領域や関係する産業、さらには研究者を志す採用候補者や学生といった人々にもプラスに受け止めてもらえると考えています。特にエンタメ業界に携わりたい研究職の学生には「バンダイナムコ研究所は自らデータセットをとりながら研究できる会社だ」と知ってもらえる機会になるのではないでしょうか。
與島 ACESとしてもデータを含めて公開するのは初めての試みでしたが、髙橋さんがおっしゃったように、海外を含めた先行研究から着想を得ているプロジェクトですから、それを産業に戻して現場で使えるようにする働きかけと、それらをアカデミアへ戻すといった動きができるのは非常に価値があると思っています。データセットをより実用に近い形で、最新のものを集めて公開することで、みんながもっと研究できるようになるはずです。また、現場からの課題やニーズが研究側に下りていくことによって、さらに実用的な研究も加速するかもしれません。黎明期である研究の領域ごともっと注目され、他の人たちが研究を進めてくれた分だけ、その知見を得ながら私たちも研究を進めていける期待感もあります。
髙橋 ACESさんにはデータセットの公開を英語化する部分については担っていただきました。どういう情報を載せるべきか、入れるべき統計情報や目録といったものを検討し、海外まで伝わるように英語での発信もサポートしてくれています。おかげで海外のマシンラーニングやディープラーニングの研究者たちもリポジトリをチェックしてくれるようになりました。そこから寄せられる反響で、我々だけでは不十分だった部分は、これから解消していかなければならないと考えています。
與島 発信に際して苦労したことは特別ありませんでした。活用されているデータセットがどういうもので、どんな情報を載せているかをサーベイして、今回のデータセットから何を収録すべきかを決めていきました。一つ工夫したこととしては、収録データは特殊なファイル形式を採用しているたので、プレビューしやすいように変換後の動画ファイルを載せたり、『Blender』でmp4データを自動で作るためのプログラムも併せて公開したりしています。「いかにデータを使いやすく出せるか」にはこだわっていますね。
髙橋 せっかく公開するからには反響があったほうがいいですし、想定する以上に広まった実感があります。今後、新しい研究論文につながる成果につながる可能性もあるでしょう。
髙橋 公開したことによって、意図していなかった反響も寄せられています。AI研究の利用を想定していましたが、自分の持っている3Dキャラクターに適用してゲーム制作に使ったり、プロが演じ分けた収録データをカタログ的に一覧できることでCGを学ぶ学生が参考にしたりと、モーションデータの受容性や市場性に対する声をいただいています。
こういったデータの予想外の使われ方、予想外のニーズが感じられるのも、研究の途中段階であっても公開することで、「誰が、どういうニーズで、何を欲しているのか」が分かるのは嬉しいフィードバックといえます。そういった反応を得ながら最終形に向かっていけるのがよい兆候だと感じています。
與島 アクターのモーションそのものがある種のデジタル資産になっていくといえますね。
髙橋 まさにそうです。他にも、ブロックチェーンを活用して、踊っているデータの権利をダンサーさんに紐付けるといったサービスを提供しているスタートアップもいらっしゃいます。今後も優位性の高いもの、権利がほしいものなど、様々な形式には分かれるとは思いますが、プロフェッショナルの動作自体にデータとしての価値があるケースが増えていくかもしれません。
おそらく一般の方にはモーション収録に対するハードルが最も高いですから、データを用意することで、それらを組み合わせるところから、この「モーションデータの活用」を民主化していければと思います。今回のような手法で3Dキャラクターに対するバリエーションや個性をつけられるのは、今後も有望な分野があるだろうと考えます。一般の人が使うサービス、それこそメタバース空間は代表例になっていくのではないでしょうか。
與島 ACESは「アルゴリズムバリューデザイン」や「AIバリューデザイン」といった言葉で表現しますが、AIや技術は手段であり、「いかに現場で使われるか」に最もこだわりぬいていくのが大切だと考えています。それがACESが基礎研究に留まらず、さらに他社と比べても強みとなっている部分だと捉えています。
今回のプロジェクトでも、それこそゲーム制作の現場といっても「ダンスで使いたいのか」「格闘シーンで使いたいのか」といったように、実際の使い方によって強調すべき特徴は異なりますから、注力すべき技術も変わってきます。まさに活用の上流から下流までを髙橋さんたちと一緒に深く詰めて取りかかってきたな、と思います。制作したデータを実際にモーションを作ってくださっている方に見ていただき、プロの目線で指摘してもらう機会も持ちました。「現場で使える」を実現するアルゴリズム、そのためのPDCAサイクルは何なのかを突き詰めていますし、今後も継続して取り組んでいきたいです。
髙橋 必ずしもアルゴリズムだけでゴールに達成しなければならないわけではありませんからね。「ここから先はモーションを作る人が介入すればいい。AIで作りこむ必要はない」というポイントはどこなのかを見極めるのも大切な観点です。ゲーム制作ならば高品質が求められますが、UGC（ユーザー・ジェネレイテッド・コンテンツ）ならば許容範囲、といった線引きも今後より見えてくることでしょう。
事業活用がゴールにあるのですけれども、一人の研究開発者としては、このAIプロジェクトのようなR&Dは、積み重ねることで未来に価値が出ると思うのです。担当している私自身の信念の部分としても、AIプロジェクトは3年がかりで花開いたものもありましたから、長い目で見ながら、今が山登り中だとしたら「いったい何合目にいるのか」を考えながら取り組むのが大切だと考えています。
最終的には「空手の黒帯を持つ人の正拳突きの演技」といった文章を入力したらモーションが出力されるまでになれば、まさに属人的な作業を置き換えることができ、より注力すべきことにクリエイティビティを発揮できる未来が待っている、と期待しています。
最先端アルゴリズムを独自モジュール化し、
提供しています。
技術を見る
