FreeToken RTX 4090：セットアップガイドとベンチマークのヒント

FreeToken RTX 4090に関する議論の中心にあるのは、次の技術的な疑問です。完全な重みが利用可能なGPUメモリを超えるMixture-of-Expertsモデルを、一般消費者向けデスクトップでどのようにサービングできるのでしょうか。FreeTokenは、VRAMだけを有用なリソースとみなすのではなく、ワークステーション全体を統合された推論プラットフォームとして扱います。ランタイムは完全なエキスパートプールをホストメモリに保持し、エキスパート以外の重みをGPUに配置し、残りのVRAMを柔軟なキャッシュとして利用します。

このアプローチは、特にコンテキストを繰り返し編集し、長い応答を生成するエージェント型ワークロードなど、ローカルAIサービング向けに設計されています。これはゲーム、キャラクターシステム、または引き換えコードのプラットフォームではありません。関連する用語は、MoE推論、エキスパートキャッシュ、prefill、decode、PCIe転送、テールレイテンシです。

動画のハイライト：

• FreeTokenのルーティング対応キャッシュを、静的な配置戦略と比較します。
• スパース計算によっても、モデル全体に必要なメモリがなくなるわけではない理由を説明します。
• RTXクラスのデスクトップを、ローカルでフロンティアモデルをサービングする現実的な対象として紹介します。
• ベンチマークの解釈では、スループットと最悪時の応答時間の両方を扱います。

RTX 4090クラスのデスクトップが重要なのは、そのPCIe 4.0 x16接続が、カード自体のメモリサブシステムより大幅に低速だからです。そのためFreeTokenの設計では、すべてのキャッシュミスをシリアルな転送にしないようにします。ルーティングされたエキスパートがVRAMに存在しない場合、スケジューラーはキャッシュを補充してそのエキスパートをGPUで実行するか、CPU上に常駐するプールから直接実行できます。

Mixture-of-Expertsモデルには多数のエキスパートネットワークが含まれていますが、各トークンが有効化するのはそのうちの一部だけです。リファレンス設計では、DeepSeek-V4-Flashは総パラメータ数2,840億、アクティブパラメータ数130億で、各レイヤーにつき256個のルーティング対象エキスパートから6個が選択されると説明されています。このスパース性によって計算量は削減されますが、次のトークンが異なるエキスパートを選ぶ可能性があるため、完全なエキスパートプールには引き続きアクセスできなければなりません。

FreeTokenはモデルを、実用上の2つの階層に分離します。

1. CPU常駐のエキスパートプールが、元の重みを保持します。
2. GPUにはエキスパート以外の重みに加えて、レイヤーとエキスパートの完全なエントリを共有キャッシュとして保存します。

キャッシュエントリは、論理的なレイヤーとエキスパートの組を表します。これは重要な点です。FreeTokenは、分離されたテンソル断片を無関係なオブジェクトとして管理するわけではありません。CPUとGPUの両方で同じ論理マッピングを通じて、完全なエキスパートを識別、保持、置換、実行できます。

Prefill中、ランタイムはGPUが現在のレイヤーを計算している間に、次のレイヤーのエキスパートを読み込みます。これは、ルーティングが発生した後で個々のエキスパートごとに待機する方式とは異なります。Prefillではエキスパートプールの広い範囲が有効化されるため、レイヤー全体のストリーミングによって、次のレイヤーが始まる前に転送経路へ有効な処理を与えられます。

Decode中は、ルーティングがはるかにスパースになります。FreeTokenは共有LRUエキスパートキャッシュを使用して、レイヤーやトークンをまたいで最近選択されたエキスパートを保持します。キャッシュは起動時に固定されません。ワークロードのルーティングパターンに合わせて変化するため、モデル読み込み時に選択した固定配置よりも、複数ターンのエージェントに適しています。

この設計では、エージェントコンテキスト内の意味的な境界も考慮されます。思考セグメント、ツール呼び出し、ツール出力、会話ターンは、完全なブロックとして編集されることがよくあります。こうした境界にチェックポイントを配置すると、有用なプレフィックスを保持でき、編集後にランタイムが新しいサフィックスだけを再計算できるようになります。

提供されている2026年の資料では、FreeTokenはNVIDIA CUDAおよびPOSIX/Linuxをサポートするベータ志向のランタイムとして位置付けられています。したがって、実用的なRTX 4090のセットアップは、ベンチマークへの期待ではなく互換性の確認から始めるべきです。最適化を試みる前に、動作環境、メモリ容量、モデル形式、想定するワークロードを確認してください。

RTX 4090クラスのシステムでは、PCIe帯域幅とデュアルチャネルまたはマルチチャネルのホストメモリが、CPU実行とGPUキャッシュ補充のバランスに影響を与える可能性があります。最適な分割を製品仕様だけから安全に推測することはできません。導入するテンソル形状と、実際のCPU側エキスパートカーネルを使って測定する必要があります。

公開されている評価では、RTX 5090のテストシステム上で、FreeTokenはQwen3.6-35Bにおいて毎秒77～83トークン、DeepSeek-V4-Flashにおいて毎秒22～25トークンを持続したと報告されています。また、異なるハードウェアを用いたコーディングエージェント比較では、RTX 4090システム上で最も強力なベースラインを1.3倍上回ったと報告されています。これらの結果はシステム固有の測定値であり、RTX 4090で同じ出力が保証されるものではありません。

最も有用な比較は、結果の背後にある仕組みです。同じキャッシュ容量で比較した場合、報告されたRTX 5090のサービング構成では、FreeTokenのグローバルLRUにおけるQwen3.6エキスパート読み出しのミス率は16%でした。一方、llama.cppに関連付けられたルーティング非対応の静的分割では62%でした。DeepSeek-V4-Flashでも同様の順序が示され、引用されたリプレイ分析ではFreeTokenが39%、llama.cppが89%でした。

テールレイテンシには特に注意が必要です。評価では、テストされたセルにおけるFreeTokenの最悪ターンは44秒未満だった一方、ベースラインの外れ値はllama.cppで232秒、Ollamaで179秒、KTransformersで946秒に達したと報告されています。テールが長いとエージェントクライアントがリクエストを終了する可能性があるため、平均tokens per secondだけでは使いやすさを表せません。

ベンチマークの手法についても精査が必要です。主な比較ではエンドツーエンドの要素を含む本番Codexの数値が使われていますが、別の数値では純粋なdecode速度が使われています。これらの測定値は互換性がありません。FreeTokenを別のランタイムと比較する場合は、モデルの重み、精度、プロンプト、バッチ動作、prefillの扱い、指標の定義を一致させてください。

技術的な詳細については、FreeTokenの研究論文を参照してください。プロジェクトのリリース方針については、flashml.aiでも説明されています。非公式パッケージに頼るのではなく、現在の利用可能性を確認するにはこちらが適切です。

RTX 4090クラスのデスクトップを信頼できるFreeTokenホストとして扱う前に、このチェックリストを使用してください。目的は単にモデルを起動することではなく、長いプロンプトやエージェントの反復ターンを通じて、予測可能な動作を維持することです。