IBMはHugging Faceを通じて、多言語埋め込みモデル「Granite Embedding Multilingual R2」を公開した。このモデルは、97Mパラメータのコンパクトなサイズながら、サブ100Mカテゴリで最高の性能を達成し、最大32,768トークンの長尺コンテキストに対応する。Apache 2.0ライセンスでの提供は、多言語AI開発の新たな標準を確立する可能性を秘めている。
IBMは2024年5月14日、新たな多言語埋め込みモデル「Granite Embedding Multilingual R2」をHugging Face上で発表した。このリリースには、311Mパラメータのフルサイズモデルと、97Mパラメータのコンパクトモデルの2種類が含まれる。両モデルは200以上の言語をサポートし、特に52の主要言語とPython、Go、Javaなど9つのプログラミング言語における埋め込み品質が強化されている点が特徴だ。最大32,768トークンという大幅なコンテキスト長に対応し、これは前世代のR1モデルの64倍に相当する。これにより、長文のドキュメントや複雑なコードベース全体を一度に処理することが可能となり、多言語RAG（Retrieval-Augmented Generation）システムやクロスリンガル検索の精度向上に大きく貢献すると見られる。さらに、Apache 2.0ライセンスの下で提供され、sentence-transformersやtransformersといった主要なAIフレームワークとの高い互換性を持つため、既存システムへの導入が容易である[出典1]。
近年、グローバルビジネスの拡大や多様な情報源へのアクセスニーズの高まりから、多言語対応のAIモデルの需要が急速に増加している。特に、大規模言語モデル（LLM）の「幻覚（hallucination）」問題への対策として、外部知識を検索して回答生成に活用するRAG（Retrieval-Augmented Generation）の重要性が増している状況だ。RAGシステムでは、関連文書を正確に検索するために高品質な埋め込みモデルが不可欠となる。また、法律文書、学術論文、技術マニュアルといった長尺のドキュメントを扱うユースケースでは、モデルが一度に処理できるコンテキスト長の拡大が求められていた。IBMのGranite Embedding Multilingual R2は、こうした市場のニーズに応える形で、多言語性、長コンテキスト対応、そして小型モデルでの高性能化を同時に実現しようとするものだ。
Granite Embedding Multilingual R2の性能向上は、アーキテクチャの根本的な見直しによって実現された。R1モデルがXLM-RoBERTaエンコーダを基盤としていたのに対し、R2は「ModernBERT」アーキテクチャを採用している。このアーキテクチャは、過去5年間のトランスフォーマー研究の成果を取り入れ、特に長シーケンスにおける計算効率の向上、ロータリー位置埋め込みによる32Kコンテキストウィンドウの実現、そしてFlash Attention 2.0のサポートによるGPU上でのエンコード高速化に寄与している。多言語トークナイザーも刷新され、311MモデルはGemma 3のトークナイザーを、97MモデルはGPT-OSSトークナイザーをベースに、多言語カバー率を維持しつつコンパクトな語彙サイズを実現した。また、IBMはモデルのトレーニングデータに関しても「エンタープライズ対応」を強調しており、IBMがキュレーションしたデータセット、公開データ、内部生成または合成データを組み合わせて使用。商用利用におけるリスクを低減するため、厳格な品質管理、重複排除、ガバナンスプロセスを経ていると説明している[出典1]。
Granite Embedding Multilingual R2の最大のハイライトは、97Mパラメータのコンパクトモデル「granite-embedding-97m-multilingual-r2」の性能にある。このモデルは、多言語埋め込みモデルの主要ベンチマークであるMTEB Multilingual Retrievalにおいて60.3点を記録し、サブ100Mパラメータカテゴリのオープンな多言語埋め込みモデルの中で最高スコアを達成した。これは次点のモデルに9.4ポイントもの差をつけており、これまで多言語対応とモデルサイズの小型化は相反する要素とされてきた常識を覆すものだ。一方、311Mのフルサイズモデルも同ベンチマークで65.2点を獲得し、500M以下のオープンモデルの中で2位の性能を示している。IBMは、この高性能なモデルをApache 2.0ライセンスでオープンソースとして提供することで、広範な開発コミュニティへの普及を図りつつ、自社のエンタープライズ向けAIソリューションへの応用を加速させる戦略を描いていると推測される[出典1]。
Granite Embedding Multilingual R2の登場は、多言語AIモデルの新たな標準を確立し、開発者や企業ユーザーに実務的な影響を与えるだろう。特に、リソースが限られた環境やエッジデバイスでの多言語AI展開を目指す企業や開発者にとって、97Mモデルは強力な選択肢となる。長尺コンテキスト対応により、これまで断片的にしか処理できなかった大規模な多言語文書群（例：国際的な法律文書、多国籍企業の内部資料、学術論文データベース）を効率的に分析・検索することが可能となる。これにより、クロスリンガル情報検索の精度向上や、多言語RAGシステムの構築コスト削減に貢献し、グローバル規模での知識探索やコンテンツ生成の効率化が期待される。IBMがデータガバナンスに注力し、特定の非商用ライセンスデータセットを避けるアプローチは、著作権や倫理的な懸念が高まるAI開発において、企業が安心して利用できる基盤を提供しようとするIBMの姿勢を示している。
IBMが「エンタープライズ向け」と強調しながらも、Granite Embedding Multilingual R2をApache 2.0ライセンスでオープンソースとして提供する戦略は、単なる普及促進に留まらない。広範な開発コミュニティからのフィードバックや改善を取り込み、自社製品への応用を加速させる狙いがあると考えられる。しかし、32Kトークンの長コンテキスト対応が、実際の多様な多言語ユースケースにおいて、既存モデルと比較してどの程度の性能向上とコスト効率をもたらすのか、具体的な検証が今後求められるだろう。また、IBMがデータガバナンスに注力し、特定のデータセットを避けるアプローチが、長期的に見てモデルの汎用性や多様なドメインへの適応性にどのような影響を与えるのかも注目される。このモデルが多言語AIエコシステムにどのような影響を与え、IBMのAIにおけるプレゼンスをどのように強化していくのか、その動向が注目される。
近年、グローバルビジネスの拡大や多様な情報源へのアクセスニーズの高まりから、多言語対応のAIモデルの需要が急速に増加している。特に、大規模言語モデル（LLM）の「幻覚（hallucination）」問題への対策として、外部知識を検索して回答生成に活用するRAG（Retrieval-Augmented Generation）の重要性が増している状況だ。RAGシステムでは、関連文書を正確に検索するために高品質な埋め込みモデルが不可欠となる。また、法律文書、学術論文、技術マニュアルといった長尺のドキュメントを扱うユースケースでは、モデルが一度に処理できるコンテキスト長の拡大が求められていた。IBMのGranite Embedding Multilingual R2は、こうした市場のニーズに応える形で、多言語性、長コンテキスト対応、そして小型モデルでの高性能化を同時に実現しようとするものだ。
Granite Embedding Multilingual R2の最大のハイライトは、97Mパラメータのコンパクトモデル「granite-embedding-97m-multilingual-r2」の性能にある。このモデルは、多言語埋め込みモデルの主要ベンチマークであるMTEB Multilingual Retrievalにおいて60.3点を記録し、サブ100Mパラメータカテゴリのオープンな多言語埋め込みモデルの中で最高スコアを達成した。これは次点のモデルに9.4ポイントもの差をつけており、これまで多言語対応とモデルサイズの小型化は相反する要素とされてきた常識を覆すものだ。一方、311Mのフルサイズモデルも同ベンチマークで65.2点を獲得し、500M以下のオープンモデルの中で2位の性能を示している。IBMは、この高性能なモデルをApache 2.0ライセンスでオープンソースとして提供することで、広範な開発コミュニティへの普及を図りつつ、自社のエンタープライズ向けAIソリューションへの応用を加速させる戦略を描いていると推測される[出典1]。
Granite Embedding Multilingual R2の登場は、多言語AIモデルの新たな標準を確立し、開発者や企業ユーザーに実務的な影響を与えるだろう。特に、リソースが限られた環境やエッジデバイスでの多言語AI展開を目指す企業や開発者にとって、97Mモデルは強力な選択肢となる。長尺コンテキスト対応により、これまで断片的にしか処理できなかった大規模な多言語文書群（例：国際的な法律文書、多国籍企業の内部資料、学術論文データベース）を効率的に分析・検索することが可能となる。これにより、クロスリンガル情報検索の精度向上や、多言語RAGシステムの構築コスト削減に貢献し、グローバル規模での知識探索やコンテンツ生成の効率化が期待される。IBMがデータガバナンスに注力し、特定の非商用ライセンスデータセットを避けるアプローチは、著作権や倫理的な懸念が高まるAI開発において、企業が安心して利用できる基盤を提供しようとするIBMの姿勢を示している。
IBMが「エンタープライズ向け」と強調しながらも、Granite Embedding Multilingual R2をApache 2.0ライセンスでオープンソースとして提供する戦略は、単なる普及促進に留まらない。広範な開発コミュニティからのフィードバックや改善を取り込み、自社製品への応用を加速させる狙いがあると考えられる。しかし、32Kトークンの長コンテキスト対応が、実際の多様な多言語ユースケースにおいて、既存モデルと比較してどの程度の性能向上とコスト効率をもたらすのか、具体的な検証が今後求められるだろう。また、IBMがデータガバナンスに注力し、特定のデータセットを避けるアプローチが、長期的に見てモデルの汎用性や多様なドメインへの適応性にどのような影響を与えるのかも注目される。このモデルが多言語AIエコシステムにどのような影響を与え、IBMのAIにおけるプレゼンスをどのように強化していくのか、その動向が注目される。