PFN、深層学習を活用したデジタル素材生成システムをクリエイティブ産業向けに開発
ポリゴン・ピクチュアズおよびキングレコードと短編動画を企画・制作、本日公開
2021.03.10
株式会社Preferred Networks(本社:東京都千代田区、代表取締役 最高経営責任者:西川徹、プリファードネットワークス、以下、PFN)は、好みのキャラクターや高精細な3Dモデルが簡単に生成できるデジタル素材生成システムをクリエイティブ産業向けに開発しました。今後、本システムでアニメーション、映画、ゲーム、広告等の制作を支援します。
キャラクターや背景の3Dモデルを本デジタル素材自動生成システムで生成した短編動画(YouTube)
本デジタル素材自動生成システムは、キャラクター自動生成・高精細3Dモデル生成の2つの機能で構成されます。
1. キャラクター自動生成
PFNが開発したキャラクター生成プラットフォームCrypko™(クリプコ)は深層学習を利用し、制作者が定義した顔のパーツ、表情、髪の色などに合ったキャラクターのCGを自動生成することができます。これまでCrypkoは顔が生成対象でしたが、上半身までより高い解像度で生成することが可能となりました。
Crypkoで自動生成されたキャラクターの例
2. 高精細3Dモデル生成
実物のアイテムを専用の3Dスキャナーに配置し撮影するだけで、高精細な3Dモデルを簡単に自動生成します。様々な材質や大きさの被写体に対応しており、小型のアイテムであれば、約6時間の撮影作業で当日中に200点以上の3Dモデル化が可能です。生成した高精細3Dモデルは市販の編集ソフトで自由に加工・複製し、映像作品やゲーム等で使用することができます。
実物の写真 |
3Dスキャンで生成した高精細モデル |
回転させた3Dモデル(低解像度) |
3Dモデルのメッシュ構造 |
本システムを利用した映像作品の第一弾として、PFNは、バーチャルシンガーHACHI(RK Music所属)の楽曲『20』をフィーチャーした短編動画(企画・制作:PFN、キングレコード株式会社、株式会社ポリゴン・ピクチュアズ)を本日公開しました。動画中の主人公はキャラクター自動生成システムが生成したキャラクターを元にデザインされ、スマートフォンや背景の文房具などのアイテムは高精細3Dモデル生成機能を用いて実物から生成されたものが元になっています。また、動画に登場するギターのコンピューターグラフィックス制作過程では細部の質を上げるため外部クリエイターと共同作業しており、精細なデジタル素材を作成することができました。
短編動画で使われたギターと家具の3DCG
本デジタル素材自動生成システムは、経済産業省の令和元年度補正予算「コンテンツグローバル需要創出促進・基盤整備事業費補助金(J-LOD)」第4弾の採択事業として開発しました。
本システムをはじめとして、PFNは今後もクリエイティブ産業向けに先端技術を活用した制作手法を提案し、新しい表現・体験の実現を目指します。