モーションAI技術の研究開発に活用可能なモーションデータセットを販売します

株式会社バンダイナムコ研究所と株式会社ACESが共同で収集した、モーションAI技術の研究開発に活用可能なモーションデータセットを販売します。

データセット販売に関するお問い合わせはこちらからお願いします。

データセット販売の背景

多種多様なモーション作成やモーションの属性変換の需要の増大

昨今のバーチャルキャラクター市場の拡大に伴い、キャラクターの属性や場面に応じた自然で多様なキャラクターモーションの作成需要が高まっています。また、バーチャル世界で「なりたい自分」を実現するためにも、演者の属性にとらわれないモーション作成する技術は重要です。バンダイナムコ研究所とACESは、メタバース及びxR技術での活用を目指し、AI技術である「モーションスタイル変換」を用いて、より多様なキャラクターモーションの生成を手軽に行うための研究開発を実施しております。

AI 研究開発におけるデータの重要性

一般的にAIの開発において、データ量が大きく質の高いデータを学習に用いることは重要です。近年、大規模モデルの登場を皮切りに、画像やテキストデータを扱うAIは加速度的な発展を遂げています。アクセス可能な画像・テキストデータがインターネット上に大量に存在することが、これらの発展の大きな要因の一つとなっています。

モーションキャプチャデータの希少性

一方で、モーションデータの収録には、モーションキャプチャスタジオのような専門の設備と、それらを扱う専門性の高い人材が必要です。モーションデータは収集コストが高いため希少性が高く、画像やテキストの分野と比較して、モーションAI技術の研究開発に活用できるデータは十分ではありません。

このような、モーションデータの入手の難しさがモーションAIの技術発展の障壁となっています。

データセット販売の目的とユースケース

そこで、モーションAI技術の研究開発の発展を加速させるべく、モーションAIの研究を実施している、または実施しようとしている企業のR&Dや大学・研究所を対象に、バンダイナムコ研究所とACESの共同研究開発で収集したモーションデータセットを販売いたします。

ご提供するモーションデータセットは、同じコンテンツを維持しながら別のスタイルの別のモーションに変換することを目的としたモーションスタイル変換（Motion Style Transfer）タスクの学習・評価での利用を中心に、モーションに関連する多様なタスクを解くAIの研究開発においても、ご活用いただけます。

モーションスタイル変換やモーション生成モデルなどのモーションAIの研究開発に取り組む企業や研究所の研究員の方が、モーションAIの研究開発の学習・評価用データセットとして、ご活用いただくことを想定しております。

なお、本データセットは主にAI技術の研究開発での利用を想定していますが、3Dアニメーション制作やゲーム開発にもご活用いただけます。

モーションデータセットについて

概要

モーションデータセットは、ダンスの動作を表す6種類のコンテンツと、”かわいい”、”荒々しい”などのキャラクター性を反映した7種類のスタイルを組み合わせた計42種類のモーションから構成されます。キャラクターにジェスチャーやダンスなどをさせて、挨拶や感情表現を表す機能であるエモートに利用することが可能で、総計1,475,826フレームのデータが含まれています。

左から順に以下のスタイルです。

• female-active: 元気な女性キャラクターのスタイル
• female-cute: 可愛らしい女性キャラクターのスタイル
• female-quiet: 静かな女性キャラクターのスタイル
• female-normal: 標準の女性キャラクターのスタイル
• female-rough: 荒々しい女性キャラクターのスタイル
• female-sexy: セクシーな女性キャラクターのスタイル
• male: 男性キャラクターのスタイル

他データセットとの比較

本データセットと主要なモーションデータセットの比較を表に示します。

• 本データセットは、モーションのデータ量に関して、他の主要なモーションデータセットと比較してモーションごとの撮影データ量が大きく、モーションAIの学習に適しています。
• 本データセットは、モーションの種類において、ダンスモーションとキャラクターの特長を反映したスタイルを収録しており、より実用的で希少性の高いデータです。
• 本データセットは、モーションの質において、整備された撮影環境で、プロのアクターの動きを収録しており、またモーションの専門の技術者が処理したデータであるため、高品質です

なお、2022年4月に株式会社バンダイナムコ研究所が研究者向けに公開したBandai-Namco-Research-Motiondatasetとは、主に以下の点が異なります。

• ダンスをコンテンツ、キャラクター性をスタイルとした、より実用的なモーションが収録されている
• 120FPSで収録されている
• 商用利用が可能である

出典

• ¹ (Bandai-Namco-Research-Motiondataset-1) Bandai Namco Research Inc. https://github.com/BandaiNamcoResearchInc/Bandai-Namco-Research-Motiondataset/tree/master/dataset/Bandai-Namco-Research-Motiondataset-1
• ²  (Bandai-Namco-Research-Motiondataset-2) Bandai Namco Research Inc. https://github.com/BandaiNamcoResearchInc/Bandai-Namco-Research-Motiondataset/tree/master/dataset/Bandai-Namco-Research-Motiondataset-2
• ³ (Xiaデータセット)Shihong Xia, Congyi Wang, Jinxiang Chai, and Jessica Hodgins. 2015. Realtime Style Transfer for Unlabeled Heterogeneous Human Motion. ACM Trans. Graph. 34, 4 (jul 2015). https://doi.org/10.1145/2766999 
• ⁴ (BFAデータセット) Shihong Xia, Congyi Wang, Jinxiang Chai, and Jessica Hodgins. 2015. Realtime Style Transfer for Unlabeled Heterogeneous Human Motion. ACM Trans. Graph. 34, 4 (jul 2015). https://doi.org/10.1145/2766999
• ⁵ (Lafanデータセット) Félix G. Harvey, Mike Yurick, Derek Nowrouzezahrai, and Christopher Pal. 2020. Robust Motion In-Betweening. 39, 4 (2020).
• ⁶ (100STYLEデータセット) lan Mason, Sebastian Starke, and Taku Komura. 2022. Real-Time Style Modelling of Human Locomotion via Feature-Wise Transformations and Local Motion Phases.arXiv preprint arXiv:2201.04439 (2022).

本データセットの特長

本データセットは、モーションAIの学習に適切な下記の特長を持ちます。

(1) アノテーションが付与された分割済のデータセットで効率的に学習可能

• アノテーションとデータセットの分割を利用してモーションスタイル変換の学習が可能です。

(2) モーションデータ間でプロポーションを統一

• 演者の違いによる身体バランスの差を補正し、プロポーションを統一しています。
• 本データセットのモーションデータのプロポーションは、バンダイナムコ研究所の「ミライ小町」のキャラクターのプロポーションと一致しており、容易にモーションのミライ小町への適用が可能です
  • 参考：ミライ小町の公式サイト

(3) 既存のデータセットと比べ1モーションあたりの時間が長い

• 既存のデータセットの1モーション当たりの収録時間が40秒前後に収まっている一方で(※2)、本データセットでは1モーションあたりの収録時間が293秒と長く、学習に適しています。

(4) BVHとFBXの2つの形式で提供

• 学習にはBVH形式のファイルが適していますが、ゲームエンジンなどで読み込みが容易なFBX形式でも同じデータを提供しています。

(5) モーションの中身を容易に確認可能

• モーションデータは可視化に専用のソフトやコーディングが必要ですが、本データセットではモーションを可視化した動画を提供しており、容易にモーションを確認できます。

(6) 希少性が高いコンテンツを収録

• 本データセットは6種類のダンスモーションを収録しています。AIの学習に活用可能なダンスモーションは少なく、希少性が高いです。

(7) 豊富なスタイルを収録

• 本データセットは7種類のキャラクター性を反映したスタイルを収録しています。キャラクターに個性を与えるモーションの変換に寄与します。

(8) 研究開発に最適化された方法で収録・データ整形を実施

• モーションスタイル変換において、学習データに高いFPSを使用することは、変換の質の向上に寄与します。そのため、本モーションデータは120FPSという高いFPSで収録されています。
• 既存のモーションデータセットでは、コンテンツやスタイルごとのモーションの収録時間にばらつきがありました。そのため、各モーションの収録時間を均一化し、モーションデータを活用した機械学習の汎化性能の向上に寄与しています。

(9)収録モーションが高品質

• ゲーム開発で活用されるモーションと同じ、プロの演者と撮影環境・スタッフで収録し、モーションAIの専門家が収録内容をディレクションしています。

モーションデータセットのご利用について

本データセットは、本データセットの著作権を有する株式会社バンダイナムコと株式会社ACESの間で締結した独占販売ライセンス契約に基づいて販売されます。

販売の流れ

ご購入にあたっては以下の問い合わせフォームよりご連絡ください。

お見積り・申込書・規約を指定のメールアドレスに送付させていただきますので、必要事項を記入の上、申込みをお願いいたします。弊社にて申込書を審査の上、データセットのダウンロードリンクと請求書をメールで送付いたします。さらに、お客様のご入金を確認次第、領収書を送付いたします。

公開・更新情報

• 2022年4月28日 AI研究開発用3Dモーションデータセットを無料で公開
• 2023年6月23日 本データセットの販売を開始しました。
• 2023年6月23日 プレスリリースを公開いたしました。

モーションデータセットの詳細情報

お問合わせ

モーションデータセットのご質問、不明点、情報収集、サンプルデータの提供依頼など、お気軽にご連絡ください。