neoAIおよびあおぞら銀行は、あおぞら銀行が進める次期AI基盤の構築プロジェクトにおいて、行内データで学習した大規模言語モデル（LLM）「あおぞらLLM」（仮称）を開発した。今回の取り組みにより、内部ベンチマークにおいて難易度の高い問いに対する応答精度が従来比130％となるなどのパフォーマンス改善を実現した。
取り組みの背景
金融業界におけるDXの進展とともに、あおぞら銀行はセキュリティを最優先としつつ、業務効率の向上と顧客サービスの革新を目指してきた。一方、neoAIは独自のLLM追加学習およびRAG（Retrieval-Augmented Generation）技術を用いて企業向けにカスタマイズ可能なAIソリューションを提供している。両社は2024年より、行内オンプレミス環境におけるLLMを用いた次期AI基盤構築を目指すプロジェクトを進めてきた。
今回の取り組み
本プロジェクトでは、難易度の高い問いを含む内部ベンチマークを作成し、そのベンチマークの精度向上のためにLLMへ継続事前学習を行った。その結果、応答精度が従来比130％となるなどのパフォーマンス改善を実現した。
今回確認を行ったベンチマークは、法人・リテール業務の事務規定管理業務を想定したもの。あおぞら銀行における事務規定の管理業務の実際の応対シナリオに基づき、行内に関する深い知識を必要としながらRAGを正しく行う必要のある難易度の高いベンチマークとなっている。
このベンチマークを指針としてLLMの精度向上を行った結果、回答の正確性・網羅性・再現性が向上した。とくに、行内で使われる固有の用語について、その意味や関連性を正確に理解し適切に応答する能力が向上した。
主な精度向上の例
- 用語認識の精度向上
学習前：行内固有用語について、当該用語が指す内容を正確に認識できずに応答
学習後：行内固有用語について、当該用語が指す内容を正確に認識し適切に応答
- 業務体系の包括的理解
学習前：当座貸越などの一部業務のみを個別の業務として認識して応答
学習後：証書貸付・手形貸付を含む、行内融資業務全体の関連性と構造を体系的に把握して適切に応答
この開発の特徴として、金融領域の知識を追加しているだけでなく、行員が実際に直面するタスクや運用フローを踏まえてLLMをチューニングしている点が挙げられる。LLMにドメイン知識を与えながら破滅的忘却を防ぐ学習手法などを用いることで、RAGを行う際のコンテキストがあおぞら銀行独自の情報であっても適切に応答するLLMの構築に成功した。
今回の取り組みにより、継続事前学習によりあおぞら銀行に関する知識をLLMが獲得できることが実証された。neoAIはこの開発手法を応用することにより、事務規定管理業務の効率化のほか、法人業務についても継続事前学習およびRAGによる効率化を支援していく予定。
オープンソースLLMの特徴
オープンソースLLMにはAPI型で提供されるLLMと比べて次のような特徴がある。
- 高度なセキュリティ環境：オンプレミス構築により、クラウドを介したAPI提供型LLMでは達成不可能な厳格なセキュリティレベルを実現
- 幅広いLLMの精度向上方法：ファインチューニングだけでなく、幅広い学習手法を用いたLLMへの追加学習によりRAGのドメイン知識性能が向上。難易度の高い行内ベンチマークでは、学習前のモデルでは正しく応答できなかった設問にも正解した
各社コメント
-
あおぞら銀行 アプリケーションマネジメント部 部長 五十嵐毅氏
金融業界における情報の機密性を重視し、当行ではオンプレミス環境での生成AIの業務適用に取り組んでいます。
クラウド生成AIでは難しかったセキュリティの担保と行内情報の学習の両立を目指し、neoAIとの協業で業務適用への道筋が見えてきました。
本取り組みは銀行業界でも先進的かつ挑戦的な試みであり、より安全で質の高いサービス提供を進めてまいります。
-
neoAI 代表取締役 CEO 千葉駿介氏
あおぞら銀行のプロジェクトに参画し、生成AI基盤の新たな可能性を実証できたことに大変満足しております。オンプレミス環境での実装は、セキュリティと性能の両面で大きなメリットを提供しており、今後もさらなる技術革新を追求してまいります。
今後の展望
-
あおぞら銀行 CIO副担当＜ビジネスプロセス改革担当＞ 楠田佳嗣氏
あおぞら銀行では、今回のプロジェクト成果を礎に、より精度を高めるとともに、さらに高度な業務のプロセス最適化や自動化による営業効率の向上や内部事務の迅速化等を推進し、ミッションであります「新たな金融の付加価値を創造し、社会の発展に貢献」してまいります。また、本事例を同じ課題を持つ地域金融機関の皆様と共有することにより、地域金融機関のみなさまのお役に立てることを期待しております。
