FreeToken 290bモデル：2026年版エッジMoEセットアップガイド

FreeTokenは、大規模なMixture-of-Expertsモデル向けのエッジネイティブなサービングシステムです。FreeToken 290bモデルという検索語は一般に、論文で扱われるフロンティア規模のサービング環境を指します。ただし、文書化されたデモでは、総パラメータ数284B、トークンあたりのアクティブパラメータ数約13BのDeepSeek-V4-Flashが使用されています。重要なのは、スパースな活性化によって計算量は削減される一方、完全なエキスパートプールには依然として大容量のホストメモリとストレージが必要だという点です。

モデル全体をGPUメモリに収めることを要求する代わりに、FreeTokenはGPU、CPU、ホストメモリ、PCIeインターコネクトを1つの推論プラットフォームとして扱います。エキスパートではない重みはGPU上に残し、ルーティング対象となるエキスパートプール全体はホストメモリに保持します。動的なGPUキャッシュには、現在のワークロードで最も有用なエキスパートとレイヤーの組み合わせが保存されます。

このシステムは、長いコンテキストや繰り返し発生するツール呼び出しによって、プリフィルとデコードの両方に負荷がかかるエージェント型セッションを対象としています。その設計は、次の3つの recurring な問題に対応します。

• プリフィル転送コスト：大規模なエキスパートプールをCPU-GPUリンク経由で転送する必要がある。
• デコード時のキャッシュミス：各トークンが、現在GPU上に常駐していないエキスパートを要求する可能性がある。
• 変動するリソース：ブラウザ、ゲーム、デスクトップアプリケーション、増加するKVキャッシュによって、利用可能なVRAMが減少する可能性がある。

研究論文「FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution」では、2026年8月24日に公開されたアーキテクチャ、実装、評価について説明されています。

FreeTokenは、プリフィルとデコードでボトルネックが異なるため、推論を2つのフェーズに分離します。プリフィルはプロンプトを処理してTime to First Tokenを決定する一方、デコードはトークンを1つずつ生成し、エキスパートの局所性と帯域幅のバランスにより強く左右されます。

プリフィル中、システムはフルレイヤーのダブルバッファリングを使用します。GPUが1つのレイヤーを計算している間、次のレイヤーのエキスパート重みがPCIe経由で2つ目のバッファにストリーミングされます。これにより、すべてのエキスパート転送が完了するまで待つのではなく、転送と計算をオーバーラップさせます。

エージェント型ワークロードでは、会話履歴も頻繁に編集されます。思考ブロック、ツール呼び出し、ツール出力、会話ターンは、リクエスト間で削除または置換される可能性があります。FreeTokenは、これらの意味的境界に再帰状態チェックポイントを配置し、残存するプレフィックスを再利用できるようにします。再処理が必要なのは変更されたサフィックスだけです。

デコード中、ルーティングされたエキスパートが共有GPUキャッシュに存在するか確認されます。キャッシュヒットはGPU上で直接実行されます。キャッシュミスは、帯域幅から算出された比率を使って、GPUキャッシュへの補充とCPU実行に分配されます。

ミスポリシーでは、次の2つの測定値を使用します。

• Bₚ：ピン留めされたホストからデバイスへのエキスパート転送帯域幅。
• Bₕ：CPUエキスパートカーネルが利用できる実効ホスト側帯域幅。

m個のエキスパートが欠落しているステップでは、近似的なキャッシュ補充数は次のようになります。

q* ≈ m × Bₚ / Bₕ

PCIeの比率が高いほど、GPUキャッシュへの補充を増やす方針が有利になります。CPU側の処理能力が高い場合は、より多くのミスをCPU上で直接実行できます。これは固定されたハードウェア階層ではなく、ランタイムで適用されるポリシーです。

文書化された評価では、複数のコンシューマー向けおよびワークステーション向け構成が対象となっています。結果はモデル、量子化、ホストメモリ、PCIe世代、ワークロードによって変化するため、以下の数値は普遍的な保証ではなく、報告された参考値として扱ってください。

このシステムは、Qwen3.6-35B-A3B、DeepSeek-V4-Flash、そしてワークステーション級のGLM-5.2デモを提供します。最大の例では、96 GBメモリを搭載した単一のRTX PRO 6000 Blackwell上で、753BパラメータのMoEモデルを実行しています。

RTX 5090では、テストされたワークロード全体で、Qwen3.6が毎秒約77～83トークン、DeepSeek-V4-Flashが毎秒約22～25トークンだったと論文は報告しています。報告結果は、モデルとシナリオに応じて最も強力なベースラインの1.5倍から2.3倍でした。

ハードウェアをまたいだQwen3.6のコーディングワークロードでは、FreeTokenは最も強力なベースラインを次の程度上回りました。

RTX 4060ノートPCの例は特に注目に値します。8 GBのシステムでNVFP4ビルドを使用し、毎秒39.3トークンに到達しました。この比較では、RTX 4090のレートの92%に相当すると報告されています。この結果は、ホスト帯域幅と量子化がGPUのモデル名と同じくらい重要になり得る理由を示しています。

実用的な展開は、キャッシュサイズを推測することではなく、メモリ階層の確認から始めるべきです。ホスト上に常駐するエキスパートプールが正確性の基準となるため、GPUキャッシュ容量はモデルの正しさではなく、速度とレイテンシに影響します。

FreeTokenはサービングシステムを改善しますが、大規模モデルにかかる物理的なコストをなくすわけではありません。完全なエキスパートプールには、依然として数百GBのホストメモリまたはストレージが必要になる場合があります。プラットフォームのサポートはOSやドライバーの挙動にも左右され、特にピン留めまたは登録済みメモリではその影響が大きくなります。

高速なDMA経路を確立できない場合、ランタイムは純CPUのMoEバックエンドへフォールバックできます。エキスパートではないレイヤーはGPU上に残し、アクティベーション、ルーティングメタデータ、集約された出力はデバイス境界を越えて転送します。これにより展開性は向上しますが、最大転送性能が低下する可能性があります。

結果を比較する前に、次のチェックリストを使用してください。

最も有用な指標は、平均トークン毎秒だけではありません。エージェント型ワークロードでは、テール部分のTTFTによって、クライアントが正常に待機できるか、タイムアウトしきい値に達するかが決まる場合があります。論文では、テスト対象のセルにおける最悪ターンのTTFTについて、FreeTokenは44秒未満に収まった一方、各ベースラインは評価のどこかで150秒を超えたと報告されています。