株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、プリファードネットワークス、以下、PFN）は、PyTorchユーザー向けの深層強化学習ライブラリ「PFRL（ピーエフアールエル）」を、本日オープンソースソフトウェア（OSS）として公開しました。PFRLは、PFNが深層学習フレームワークをChainer™からPyTorchへ移行してPyTorchコミュニティと連携を強化する一環で、ChainerRLの後継ライブラリとして公開するものです。

PFRLの特長は以下の通りです。

• 最新の研究に基づく深層強化学習アルゴリズム・深層強化学習機能が実装されており、それらを比較したり、組み合わせたりして実験することが可能
• 特に重要な9つのアルゴリズムについて、高品質かつ十分にベンチマークされた、研究開発のベースとなる再現実装スクリプトを提供
• ChainerRLユーザーは既存のコードをほとんど書き換えることなくPyTorchに移行することが可能

PFNは、今年の深層学習の国際学会Neural Information Processing Systems (NeurIPS)で行われる強化学習コンペティション「MineRL Competition」^*1の競技参加者向けに、PFRLによるベースライン^*2を提供する予定です。また、Optunaを使用したハイパーパラメータ探索の実装例も提供します。

PFRL公開の背景には、ChainerRLと同様に包括的な深層強化学習ライブラリへに対するPyTorchコミュニティのニーズがあります。ChainerRLは2017年2月に公開されて以来、PFN社内だけでなく社外のChainerコミュニティでも複数の研究領域・産業領域で使用されてきました。今後PFNは、PFRLを用いて社内の研究開発を加速するとともに、強化学習のコミュニティにも広く貢献することを目指します。

GitHub: https://github.com/pfnet/pfrl

*1：参加者が開発した強化学習システムにゲーム『Minecraft（マインクラフト）』をプレイさせて「ダイヤモンドを入手する」課題のクリアを競う大会。

*2：競技参加者が独自の強化学習システムを構築するにあたり、与えられた環境やデータセットの動かし方およびアルゴリズムの参考となる手法をまとめたもの。