東映アニメーション株式会社（以下、東映アニメ）と株式会社Preferred Networks（プリファードネットワークス、以下、PFN）は、AI技術を活用してアニメ制作を効率化すべく、PFNの深層学習による画像変換技術、セグメンテーション技術などを映像制作に活用する実験的な取り組みを共同で行いました。その中で、東映アニメの新規IP研究開発チーム「PEROs」（※）が本年2月に公開した、佐世保市を舞台にした実験映像『URVAN』（ウルヴァン）の背景美術制作に、PFNが開発するアニメの背景美術制作支援ツールScenify™（シーニファイ）が活用されました。

背景美術制作ツールScenifyのAdobe® Photoshop®用ユーザーインターフェース（UI）

東映アニメは、1956年の創立以来60年以上にわたり、日本のアニメーションの「開拓者」として、演出、作画、美術などの技法で独自の「伝統」を積み重ねてきました。一方で、CG・xR・AI等の最新のデジタル技術による「革新」にも取り組み、新たな映像表現に挑戦しています。

PFNは機械学習・深層学習などの最先端技術の実用化を目指しており、イラスト・アニメ・ゲームなどのクリエイティブ産業向けにも、キャラクター生成、イラスト自動着色、高精度3Dスキャンなど、制作手法の革新、新しい表現を可能にするための技術開発を行っています。

今回、東映アニメで、長年にわたり背景美術制作の技法を培ってきた製作部 美術課、AIの活用に取り組んできたデジタル映像部 テクノロジー開発推進室、そしてPEROsが連携し、約5分間の実験映像『URVAN』を制作するにあたり、PFNの画像変換およびセグメンテーション技術を応用して開発されたScenifyを活用しました。

同作品では、実在する佐世保の風景をアニメ調・サイバーパンク調の2つの画風で表現しており、現地で実際に撮影された風景写真からScenifyでアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約1/6に大幅短縮することができました。Scenifyは、同作品で制作した背景美術の約2/3に使用されています。この技術の活用により、美術クリエイターは作業負担・工数を削減することができ、クリエイティブの自由度・振れ幅が大きいサイバーパンク調の背景制作により多くの時間を充てることが可能になりました。

また、Scenifyの開発では、背景美術の制作に必須となる、背景画像からキャラクターに接する部分・手前にくる部分（BOOK）を自動的に切り出す「BOOK分け」機能、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能、さらに、Scenifyをクリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIの開発も行いました。

実験映像作品『URVAN』におけるScenifyを利用した背景美術制作の例

素材写真

Scenifyによる変換結果（アニメ調）

東映アニメ美術スタッフによる最終レタッチ結果（サイバーパンク調）
©東映アニメーション

今後は、東映アニメにおけるアニメ作品（TVアニメーション・アニメ映画）制作にScenifyを適用することを目指して、さらに機能開発を進めていきます。

両社はこれからも、東映アニメの「伝統」とPFNの「最新技術」の融合によるアニメ制作の「革新」、そして、新たな映像表現に挑戦していきます。

※ PEROs（ペロズ）
東映アニメ大泉スタジオにおける試作開発と実験的研究（Prototyping and Experimental Research in Oizumi Studio）を目的とした取り組みです。
1956年の創立以来60年以上にわたり、日本のアニメーションの「開拓者」として挑戦し続けてきた東映アニメーション独自の演出･作画技法等の「伝統」に CG・xR・AI等の最新のデジタル技術による「革新」を加え、常識にとらわれない「想像力」と、それを具現化する「創造力」を組み合わせ、新たな映像表現への挑戦とオリジナルIPの開発を行います。また、ベテランスタッフが培ってきた東映アニメーション独自のノウハウを若手スタッフに継承して、人材育成も行っていきます。
地方創生と産学協同をテーマにした「PEROs」第1回目の作品である実験映像『URVAN』のように、今後も様々なテーマに挑戦し、ショートムービー、CM、テレビ、劇場、電子広告などの場所で挑戦していきます。

『URVAN』 について
『URVAN』（ウルヴァン）は、東映アニメのPEROsが、長崎国際大学人間社会学部 国際観光学科 尾場均研究室の協力のもとで製作した、佐世保市を舞台にした約5分間の実験映像＝パイロットフィルムです。リモートでのロケハンや最新のコミュニケーションツールを活用することで、舞台となった佐世保に一度も行くことなく、地域の新たな魅力を創造する、コロナ禍におけるアニメ製作に挑戦した作品です。

■配信・放送情報
配信：東映アニメーション公式YouTubeチャンネル内　https://youtu.be/V4xzPH3NZuo
放送：テレビ佐世保　不定期放送
NIB長崎国際テレビ　3月末まで毎週金曜日10:15頃より「スッキリ」内の天気予報の背景映像（フィラー映像）にて放送

■講演情報
実験映像『URVAN』の取り組みは、「東京アニメアワードフェスティバル2021（TAAF2021）」のプログラムの一つとして開催される「アニメーション・クリエイティブ・テクノロジー・フォーラム（ACTF）2021 in TAAF」で講演予定です。

テーマ「コロナ禍における地方創生映像に挑んだ『URVAN』」
日時：2021年3月13日（土）14：20～15：10（YouTubeLiveでのオンライン配信のみ）

詳細は日本アニメーター・演出協会公式ホームページをご覧下さい
http://www.janica.jp/course/digital/actf2021.html

■プレスリリース
2020年12月22日　プロジェクト発表
2021年2月12日　映像公開　
2021年3月1日　スタッフコメント　

Scenify について
PFNが開発したScenify（シーニファイ）は、画像変換およびセグメンテーション技術を応用したアニメの背景美術制作支援ツールです。風景や建造物などの実写写真を素材に、簡単に様々な画風の背景素材を生成することができます。Scenifyは、東映アニメのPEROsによる実験的な取り組みの一つとして、PFNの最新技術でアニメの背景美術制作を支援することを目的に開発され、長崎国際大学協力による実験映像『URVAN』の制作プロセスに初めて活用されました。