FreeToken api：ローカルMoEサービング設定ガイド 2026

FreeTokenは、個人所有のハードウェア上で大規模なオープンウェイト混合専門家モデルを実行するために設計された、エッジネイティブのサービングシステムです。GPUだけを利用可能なリソースとして扱うのではなく、GPUメモリ、CPUメモリ、CPU実行、PCIeインターコネクトを1つの推論プラットフォームとして連携させます。

このシステムは、エキスパート全体のプールが利用可能なVRAMを超える一方で、トークンごとのスパースな計算を現実的な速度で実行できるモデルを対象としています。たとえば、DeepSeek-V4-Flashは総パラメータ数284B、アクティブパラメータ数13Bと説明されており、GLM-5.2は総パラメータ数753B、アクティブパラメータ数40Bと記載されています。各トークンではルーティングされたエキスパートの一部だけが参加しますが、エキスパート全体のプールには常にアクセスできなければなりません。

動画のハイライト：

• FreeTokenは、大規模MoEモデル向けの新しいローカルエンジンとして位置付けられています。
• 主な比較対象は、ルーティングを認識したキャッシュと静的配置の違いです。
• 報告された結果には、コンシューマー向けGPU、ノートPC、ワークステーション級GPUが含まれます。
• エージェント型ワークロードでは、テールレイテンシーが可用性に関わる問題として扱われています。

FreeTokenは、モデルをGPU上に常駐する部分と、ホスト上に常駐するエキスパートプールに分割します。エキスパート以外のウェイトはGPUに残し、CPU上のプールをルーティングされたエキスパートの基準ソースとして使用します。利用可能なVRAMは、MoEレイヤー間で共有される柔軟なエキスパートキャッシュになります。

この設計が重要なのは、スパース計算によってメモリ負荷がなくなるわけではないためです。1つのトークンがはるかに大きなプールから6つのエキスパートだけをアクティブ化する場合でも、ランタイムはルーターが次に選択するエキスパートへアクセスできるよう準備しておく必要があります。

Decode中、FreeTokenはGPU上でキャッシュヒットとキャッシュミスを識別します。ヒットしたエキスパートはVRAMから直接実行されます。ミスは、測定されたホスト側およびPCIeの帯域幅に応じて、GPUキャッシュへの読み込みとCPU実行に振り分けられます。これにより、ランタイムがすべてのマシンで1つの固定戦略に依存することを防ぎます。

信頼性の高いセットアップは、性能への期待ではなく互換性の確認から始まります。公開資料では、CUDAおよびNVIDIAのLinux系環境が主な対応対象として示されています。一方、2026年の公開開始時期には、Windows、macOS、旧世代GPUへの対応拡大を求める声も確認されていました。

すべてのモデルやOSが対応していると仮定せず、以下の手順でローカル環境を準備してください。

システムへのアクセスについては、プロジェクトのドキュメントおよびリリース資料からFreeToken公式プロジェクトページが案内されています。技術設計については、FreeToken研究論文に記載されています。

FreeTokenの報告された性能向上は、大規模なMoEモデル、限られたVRAM、繰り返し発生するエキスパートルーティング、長時間にわたるエージェント型ターンが組み合わさるワークロードで最も大きくなります。この評価では、複数のコンシューマー向けシステムと、ワークステーション級のRTX PRO 6000を使用し、現在も積極的に保守されているエッジエンジンと比較しています。

RTX 5090では、公開結果としてQwen3.6-35Bが毎秒77～83トークン、DeepSeek-V4-Flashが毎秒22～25トークンと報告されています。同じ評価では、FreeTokenの最悪ターンのTTFTが44秒未満だった一方、少なくとも1つのテスト項目では、ベースラインの停止時間がllama.cppで232秒、Ollamaで179秒、KTransformersで946秒に達したと報告されています。

キャッシュポリシーも、報告されたルーティングトレースの再生で大きな差を生みました。RTX 5090のサービング能力では、FreeTokenのグローバルLRUはQwen3.6のエキスパート読み出しの16%、DeepSeek-V4-Flashの読み出しの39%をミスしました。同じモデル順で比較すると、llama.cppの静的分割ではミス率が62%および89%と記載されています。

評価では、フルレイヤーのダブルバッファリングによって、エキスパートの移動を計算処理の背後に隠し、Prefillのスループットが向上したことも報告されています。引用されたQwen3.6のテストでは、2つ目のバッファを無効にすると、4Kトークンで19%、8Kで25%、16Kで26%スループットが低下しました。

FreeTokenは、すでに比較的新しいNVIDIAハードウェアを所有し、十分なシステムメモリを備え、コーディングまたは推論エージェントを通じてMoEモデルを実行するユーザーに最も適しています。選択したモデルがすでにVRAMに余裕を持って収まる場合、プラットフォームに必要なCUDA経路がない場合、またはワークロードが短い単一ターンのリクエストである場合、その利点は明確ではありません。

また、このシステムによってローカル推論の実質的なコストがなくなるわけではありません。ハードウェア、電力、ストレージ、冷却、セットアップにかかる時間は、引き続き判断材料となります。FreeTokenの価値は、プライバシー、ローカル制御、レート制限の影響低減、ホスト型サービスに依存せずモデルを利用可能な状態に保てることにあります。