【デュアルデプス株式会社、13B規模の日本語LLMを開発 — NEFTUNEとUnslothフレームワークを適用】
2025年1月31日、デュアルデプス株式会社（本社: 東京都、代表取締役: 石井貴浩）は、日本語に特化した13B（130億パラメータ）規模の大規模言語モデル（LLM）の開発に成功したことを発表しました。本モデルは、NEFTUNEとUnslothフレームワークを適用し、継続事前学習によって高度な自然言語処理能力を実現しています。
■ 日本語特化型LLMの概要
開発された日本語LLMは、13B規模のパラメータを持ち、専門的な日本語の理解と生成に優れた性能を発揮します。NEFTUNEを活用した高度なファインチューニング手法と、Unslothフレームワークによる効率的な学習プロセスにより、多様な業界のニーズに応えることが可能です。また、継続事前学習により、特定分野における深い知識と文脈理解能力を備えています。
■ 開発の背景と目的
日本語対応のLLMは、ビジネスや医療、法律など様々な分野での活用が期待されています。デュアルデプスは、独自の技術とフレームワークを駆使して、より精度が高く、効率的に運用可能なLLMの開発を進めてきました。本プロジェクトは、これまでの言語モデルが抱えていた日本語処理の課題を解決するために企画され、実証実験を通じて実用化の準備が整いました。
■ NEFTUNEとUnslothの適用
NEFTUNEは、効率的なファインチューニングを可能にし、特定領域に対する理解を深めます。一方、Unslothフレームワークは、学習速度の向上と計算資源の最適化に貢献しています。これにより、大量のデータを高速かつ効率的に処理し、高精度な応答を提供します。
■ 公開情報
今回開発された日本語LLMは、Hugging Face上で公開されており、下記リンクからアクセスが可能です。
■ 今後の展望
デュアルデプスは、今回の開発を皮切りに、特定業界向けのカスタムモデルの提供や、LLMを活用した新たなビジネスソリューションの開発を進めていく予定です。
特に、以下の取り組みに注力します。
1. ローカルLLMの開発と提供
クラウドに依存しないセキュアなローカル環境で動作可能なLLMの開発を推進。企業内での機密データ活用や、オフライン環境でも高精度な自然言語処理が可能なソリューションを目指します。
2. AIエージェントの開発
自然言語処理を活用した対話型AIエージェントの開発に着手。業務効率化やカスタマーサポートの高度化、プロセス自動化（RPA）との連携による次世代AIソリューションの提供を目指します。
3. 継続事前学習の強化
特定業界のニーズに対応した専門知識の習得と、ユーザーフィードバックを反映したモデルのアップデート。
デュアルデプスは、これらの取り組みを通じて、企業のDX（デジタルトランスフォーメーション）を強力にサポートしていきます。
【デュアルデプス株式会社について】
デュアルデプス株式会社は、AIおよび自然言語処理分野における先進的な技術開発とソリューション提供を行っています。代表取締役の石井貴浩氏のリーダーシップのもと、企業のDX推進を支援しています。
今後もデュアルデプスは、最先端の技術で社会の課題解決に貢献してまいります。