米Magic、1億トークンモデルの研究開発でAIコードツール市場に存在感示す｜元Google CEOら出資

サンフランシスコを拠点に、AIコードツールの開発をてがけるMagicは、今年8月、Googleの元CEOであるエリック・シュミット氏らから3億2,000万ドルの大型投資を受けた。これによるMagicの総資金調達額は、4億6,500万ドルに及ぶ。

Magicは、エリック・スタインバーガー氏とセバスチャン・デ・ロ氏によって2022年に設立されたスタートアップ。現在は製品を開発中の最中にあり、まだ収益はあげていない。GitHub CopilotがリードするAIコードツール市場で、製品化前にもかかわらず投資家の関心をよぶ理由として、Magicは1億トークンの生成AIモデルがもたらす革新性を強調する。

長い文脈に沿った推論の精度向上に期待

Magicは、はじめての1億トークンモデルとして「LTM-2-mini」を訓練中だ。1億トークンは約1,000万行のコード、または約750冊の小説に相当する。

生成AIの“モデル”とは、生成AIの中核となるLLM（大規模言語モデル）のことだ。LLMにおけるトークンとは、テキストデータを解釈・処理する際の最小単位のことを指す。トークン化（トークナイゼーション）と呼ばれる前処理により、文章は単語、句読点、数字などの要素に分割され、分割された1つ1つの要素がトークンとなる。このLLMが一度に処理できる最大のトークン数のことを、コンテクストウィンドウのサイズという。

いままでの小さいコンテクストウィンドウでは、読み込んだコードの限られた部分からしか推論に使うことができなかった。しかしMagicの“超長”コンテクスト（Ultra-Long Context）のサイズが大きいということは、すべてのコード、ドキュメント、ライブラリのすべてからの推論が可能になるということだ。これにより長い文脈（コンテキスト）に沿った推論の精度の大幅な向上が期待できる。

同社は、事前トレーニングには限界があると指摘。現在主流の方法では生成AIモデルに事前のトレーニングが必須だったが、同社の超長コンテクストによって、事前のトレーニングなしでの推論中の学習が可能になる。同社はこれが次のAIフロンティアだと訴える。

Google CloudとのパートナーシップでNVIDIA GPUサーバーを構築

MagicはGoogleと提携し、 NVIDIA H100 Tensor Core GPUを搭載したMagic-G4と、NVIDIA GB200 NVL72を搭載したMagic-G5でサーバーCloud上に構築した。またこのサーバーは次世代のBlackwell GPUにスケールする能力を持っている。

Magic共同創業者兼CEOのエリック・スタインバーガー氏は述べる。

私たちはGoogleおよびNVIDIAと提携し、次世代のAIスーパーコンピュータをGoogle Cloud上で構築できることを非常に楽しみにしています。NVIDIAのGB200 NLV72システムは、モデルの推論とトレーニング効率を大幅に向上させることができます。さらにGoogle Cloudは、迅速にスケールできる俊敏性と、豊富なクラウドサービスを提供してくれるのです。

さらにMagicのモデルはMetaのLlama 3.1 405Bと比較して、1億トークンのコンテキストウィンドウにおいて約1,000倍安価だという。

生成AIを稼働させるGPUサーバーのコストが深刻な問題になっている状況において、これは大きな競争優位をもたらす。

参考元：
Magic
プレスリリース

（文・五条むい）