株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、以下、PFN）は、建物や部屋、空間全体を撮影して、現実のロケーションをフォトリアルな高精細3Dデータに再構成する技術を開発しました。この技術は映画・テレビ・CMなどの映像制作やゲーム開発、観光や不動産などのロケーションガイドなどに活用されることが期待できます。

本技術の詳細、3DデータのサンプルはPFN 3D Scanサイトでご覧いただけます。

バーチャルプロダクション(InCameraVFX)での活用（協力：株式会社角川大映スタジオ）

今回開発した技術は、ガウシアンスプラッティング*と呼ばれる最先端技術とPFNのスーパーコンピュータを用いて、様々なアングルから撮影された数百枚のロケーション写真をもとに3D空間を再構成するものです。また、映像制作やゲーム開発で標準的に使われる3DエンジンUnreal Engine 5で取り扱うためのプラグインも開発し、作成した3Dデータを制作現場の既存のワークフローに簡単に組み込むことが可能です。

本技術で作成した3Dデータを使うことで、撮影のために現地まで毎回足を運ぶことなく、現実のロケーションを細部まで鮮明に再現した空間の中で、カメラアングルを自由自在に動かした映像やインタラクティブコンテンツを制作できます。

3D化したロケーションのサンプル動画：

協力：ロイヤルチェスター前橋（群馬県）、角川武蔵野ミュージアム（角川文化振興財団）本棚劇場（埼玉県）ほか

映像への応用例：

大型LEDパネルに3D背景を写し、実写の人物とリアルタイムに合成しています。

本技術は今後、エンターテインメント、不動産、観光、製造業など、幅広い分野での活用に向け、具体的なサービスやプロダクトとして開発していく予定です。

*ガウシアンスプラッティング（Gaussian Splatting）
2023年に登場した3Dモデルを小さなガウス分布の集まりで表現する手法。点群、ボクセル、メッシュ、NeRFなどの従来の3D技術において用いられる表現と比較して、より高い外見の再現力を持ちます。また、大規模なシーンに対しても効率的に最適化を行うことができ、GPUによる高速な描画が可能であるといった強みがあります。