PKSHA Technologyは、Retentive Network（RetNet）（※1）を活用した日英大規模言語モデル（Large Language Model、以下LLM）を開発することを発表した。なお、開発は日本マイクロソフトの技術支援のもと行われている。
PSHA（パークシャ）によるLLMの概要：RetNetによる日英LLM、回答速度・長文理解に強み
PKSHAは、日本マイクロソフトから学習用インフラの提供および技術支援を受け、次の特徴を持つLLMの開発に取り組んでいる。
すでに公開されているLLMは、基盤となるアーキテクチャに「Transformer」を使用しているケースが主流だが、本モデルは、その後継といわれるRetNetを使用する日英モデル。RetNetは、マイクロソフトの研究開発機関であるMicrosoft Researchによって開発され、学習速度、長文入力時の推論速度やメモリ効率が優れているうえに、従来と同等以上の精度を持つことが示されている。メモリ効率に優れるということは、従来モデルよりも少ないGPU（※2）で運用することができ、コスト面でも優れている。このアーキテクチャを使用することで効率的な長文理解と、優れた回答速度を両立する日英対応のLLMの実現を図る。
モデルのパラメータ数としては、コンタクトセンターなどにおける実装を視野に、出力精度と運用コストのバランスに優れた70億パラメータを採用。このモデルを活用することで、たとえば日本語の新聞紙2ページ（※3）の情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能となり、入力情報量が多くなるほど優位性が高まる。また、モデルの開発にはMicrosoft Corporationによって研究開発された深層学習フレームワーク「DeepSpeed」を採用し、その強みである高い並列分散処理能力を発揮するためのLLM学習ノウハウとAzure上のGPUサーバー群が日本マイクロソフトから提供されている。DeepSpeedの活用により効率的に学習を進め、プロトタイプモデルによる性能確認を早期に実現した。
LLM実装用途：回答の即時性を活かし、コンタクトセンターや社内ヘルプデスク業務を支援
【想定場面1】コンタクトセンターにおけるリアルタイムのCRMを提供し顧客満足度の向上
コンタクトセンターにおいては、人員不足に加えて、サポート領域やチャネルの拡大、複数人員での複雑なサポート体制から、1人ひとりの顧客にとって満足度の高い対応をすることが難しくなっている。個別の顧客の登録情報や対話履歴、その時系列をLLMが読み取りアドバイスすることで、オペレーターが最適な回答を容易にできるようになり、専門性や複数の参考情報を必要とする問合せに対して、大量の規約や社内ドキュメントからLLMが高速に回答を導き出すことで、顧客を待たせることなく、高度な回答をすることが可能になる。
【想定場面2】社内ヘルプデスク領域における従業員問い合わせの高度化
企業内のコミュニケーションにおいては、社内システムやツールの増加、業務の複雑化・多様化を背景に、社内問合せや情報検索の効率化が求められている。すでに、AIヘルプデスクにより社内問い合わせを自動化する仕組みは存在しているが、社内マニュアルや、過去の議事録、労働規定など、多岐にわたる情報をLLMが読み取りアドバイスすることで、情報検索や問い合わせにかかる時間を効率化する。また、即時性の高い回答ができることから、今後はリアルタイムでの商談において、顧客のニーズを満たす商品をAIが即時に提案することや、営業資料から最適な情報を抽出することも可能になり、営業職などのフロント業務での実用性が期待される。
今後の展望
さらなる検証と改善を行い、2024年4月ごろより、段階的にビジネス現場での実運用を予定している。最初の対象領域として、すでにAIの導入実績があるコンタクトセンターや社内ヘルプデスクを想定し、随時領域や活用ケースを広げる。
日本マイクロソフト 執行役員 常務 最高技術責任者 野嵜弘倫氏のコメント
日本マイクロソフトは、PKSHA Technology様による新たな大規模言語モデル開発とそのビジネスへの応用を心から歓迎いたします。この革新的なプロジェクトは、Microsoft Research 開発の先進技術「RetNet」及び Microsoft Corporationにて開発された「DeepSpeed」を活用した日英対応の言語モデルであり、従来のモデルより3倍の速度で回答を生成することが可能です。これにより、コンタクトセンターや社内ヘルプデスクの生産性向上が期待できます。株式会社PKSHA Technology様のこの取り組みは、コミュニケーションの即時性と精度を高めることで、企業の効率化とサービス品質の向上を支援しております。
日本マイクロソフトは、PKSHA Technology様の「人とソフトウェアの共進化」のビジョンと、その実現に向けた革新的な取り組みを全力でサポートしてまいります。技術革新を通じて、より豊かな社会の実現と日本企業のDXの加速に貢献できることを楽しみにしております。
※1：RetNetの特徴について：
RetNetは、2024年3月現在、多くのLLMで採用されているTransformerと比較して、次の特徴を持つモデルと報告されており、Transformerの後継として期待されている技術
- Transformerと同等以上の言語性能
- 並列実行による高速な学習
- 省メモリ・低遅延な推論
※2：Graphics Processing Unit（グラフィカルプロセッシングユニット）の略。高速な並列処理を行う特殊な装置であり、グラフィックス処理や科学計算、機械学習などの分野で幅広く利用されている
※3：新聞紙1ページあたり約1万字とした場合
