株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、以下、PFN）は、開発した130億パラメータの事前学習済み大規模言語モデル PLaMo™-13B（Preferred Language Model、プラモ）を、研究・商用で利用可能なオープンソースソフトウェア（OSS）ライセンスで本日公開（https://huggingface.co/pfnet/plamo-13b）しました。本モデルは、現在公開されている同規模のパラメータ数の事前学習済み言語モデルと比べ、大規模言語モデルのベンチマーク評価（lm-evaluation-harness）において、日英２言語をあわせた能力で世界トップレベルの高い性能を示しています。

日英2言語での性能比較
（ベンチマークスコアの偏差値の平均を各言語のスコアとしてプロット）
(*) より正しい比較のため、公開値より高いPFNで再評価したスコアを採用

近年、大規模言語モデル、拡散モデルなどの新しいAI手法が様々な分野に応用されて画期的な成果を出しています。これらの手法は「基盤モデル」と呼ばれ、今後あらゆる産業の基盤技術としてイノベーションをもたらすことが見込まれています。PFNはこうした技術に注目して研究を続けており、2023年春から本格的に大規模言語モデルの開発を進めています。

大規模言語モデルPLaMo-13Bについて

PLaMo-13Bの開発にあたり、PFNは学習に使用可能なオープンデータセットを独自に収集・加工して、
1.4兆トークン ^*1 の大規模な日英2言語のデータセットを作成しました。また、国立研究開発法人産業技術総合研究所が保有するAI橋渡しクラウド（ABCI）のNVIDIA A100を480GPU使用^*2して、1か月弱の学習を行いました。英語に加え、日本語の学習データ量を増やすことで、130億パラメータというコンパクトなモデルでも日英2言語のベンチマーク評価で世界トップレベルの性能を実現し、標準的なGPUサーバーでも利用することができます。

PFNはPLaMo-13Bの推論に必要なコードおよびパラメータを、研究・商用利用が可能なライセンス（Apache License v2.0 ^*3）で公開することで、日本語・英語ともに優れた性能を有する大規模言語モデルを使った様々な研究開発および検証を進められる環境を多くの開発者に提供します。

PLaMo-13Bの開発や技術の詳細については、開発チームによるTech Blogをご覧ください。https://tech.preferred.jp/ja/blog/llm-plamo

マルチモーダル基盤モデル開発強化のための新会社を設立

PFNは、テキスト、画像、音声、映像、空間情報、ゲノム、センサ値など、様々な種類のデータを扱える高性能なマルチモーダル基盤モデルの開発を強化するために、新会社、株式会社Preferred Elements（本社：東京都千代田区、取締役社長：岡野原大輔、プリファードエレメンツ、以下、PFE）を2023年11月1日に会社分割により設立します。これにより、今回公開するOSSより遥かに大規模かつ高機能な基盤モデルの開発を加速し、2024年中に商用でのサービス提供の開始を目指すとともに、PFNグループが手掛ける様々なプロダクト・サービスでの活用を進めていきます。

PFNはこれまでの研究開発を通じて、事前学習用データの収集・加工、大規模計算基盤を用いた事前学習等、大規模言語モデル開発のための実用的なノウハウを蓄積してきました。今後は、大規模言語モデルの課題として指摘されている偽情報（ハルシネーション）、バイアス、悪用リスクへの対策、事前学習用データの作成・収集に関して、国・大学・企業とも連携を深め、社会や産業のインフラとして活用するための安全性を備えた基盤モデルの開発につなげていきます。

*1　トークンは学習するテキストデータの基本的な単位
*2　2023年7月に公募された第1回 大規模言語モデル構築支援プログラム2023 に採択
*3　研究・商用での利用可能なライセンス

CEATEC 2023に出展

PFNは、2023年10月17日（火）～20日（金）に幕張メッセで開催されるCEATEC Japanに出展し、今回開発したPLaMo-13Bなどの大規模言語モデルを用いて、PFNが事業として展開する3Dモデル生成、材料探索シミュレーション、ロボット制御などに応用したデモ展示を行う予定です。

【会期】2023年10月17日（火）～20日（金）
【会場】幕張メッセ　展示ホール8　ブースA121（アドバンスドテクノロジーエリア）
【展示概要】大規模言語モデルと連携したPFNプロダクトのデモをお見せするとともに、ブース内の特設ステージにて今後の技術進化に関するミニセミナーを行います。また、これらのAIモデルの学習を高速化する、電力効率で世界最高水準のAIプロセッサーMN-Core™のサーバー（実機）、最新世代のMN‐Core 2プロセッサーを展示します。

CEATEC CONFERENCE   ※無料の来場登録と聴講予約が必要です

「サステナブルな社会の実現に向けて（仮）」（AB010）

• 日時：10月17日（火）10:30～12：00
• 会場：幕張メッセ 国際会議場 コンベンションホールAB
• 登壇者：株式会社Preferred Networks 代表取締役 最高研究責任者 岡野原 大輔 ほか
• 概要：
  持続可能な次世代社会の実現に向けて、サステナビリティをテーマに業界・世代を超えたフロントランナー６名がパネルディスカッションを繰り広げます。
• 詳細・お申込み：https://www.ceatec.com/ja/conference/detail.html?id=2298 

「現実世界を理解し、イノベーションを生み出すAI」（A024）

• 日時：10月18日（水）14:00～15：00
• 会場：幕張メッセ 国際会議場 コンベンションホールA
• 講演者：株式会社Preferred Networks 代表取締役 最高経営責任者 西川 徹
• 概要：
  生成AIなどの新しいAIを真に実用化していくために、どのように課題を解き、イノベーションを生み出していくのか、そのアプローチをご紹介します。
• 詳細・お申込み：https://www.ceatec.com/ja/conference/detail.html?id=2261