FreeTokenリリース：2026年セットアップガイドと主な変更点

2026年のFreeTokenリリースは、フロンティア規模のMixture-of-Expertsモデルを個人用ハードウェアでより実用的に動作させるために設計されたローカル推論エンジンを提供します。すべてのエキスパート重みをGPUメモリに保持する代わりに、システムはエキスパートプール全体をホストメモリに保持し、利用可能なVRAMを柔軟なキャッシュとして使用します。

プロジェクトの研究論文FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Executionは、2026年8月24日に公開されました。この論文では、このリリースを新しいモデルではなくサービングシステムとして位置付けています。その目的は、既存のオープンウェイトMoEモデルをコンシューマー向けハードウェア上で読み込み、キャッシュし、実行する方法を改善することです。

動画のポイント：

• FreeTokenは、非常に大きなパラメータ数を持つモデルのローカルサービングを対象としています。
• 動的ルーティングによって、GPUメモリに保持すべきエキスパートを決定します。
• CPU実行とPCIe転送は、測定された帯域幅に応じてバランス調整されます。
• 報告された結果には、ノートパソコン、デスクトップ、ワークステーション級のハードウェアが含まれます。

FreeTokenは推論を、PrefillとDecodeという2つの重要なフェーズに分けます。Prefillは既存のプロンプトや会話コンテキストを処理し、Decodeは新しいトークンを1つずつ生成します。各フェーズには異なるボトルネックがあるため、ランタイムもそれぞれ異なる手法を使用します。

Prefillでは、長いコンテキスト全体で多数のエキスパートにアクセスする可能性があります。FreeTokenはレイヤー全体のダブルバッファリングを使用し、GPUが現在のレイヤーを処理している間に、次のレイヤーのエキスパートをストリーミングします。これにより、転送時間の一部を計算処理の裏に隠せます。また、思考セグメント、ツール呼び出し、会話ターンなどの意味的な境界にチェックポイントを保存します。エージェントがコンテキストを編集した場合、変更された末尾部分だけを再計算すればよい可能性があります。

Decodeではルーティングはスパースですが、トークンごとに変化します。起動時に選択した静的な配置では、アクティブなエキスパートを頻繁に見逃す可能性があります。そこでFreeTokenは、レイヤーをまたいだ最近のルーティング動作に追従する共有LRUキャッシュを使用します。

帯域幅ポリシーは、このリリースを特徴づける主要なアイデアの1つです。Bₚを測定されたPCIe転送帯域幅、Bₕをホスト側での実効エキスパート処理帯域幅とします。ランタイムは、キャッシュにないエキスパートのうち、GPUキャッシュへ転送すべき数とCPU上で直接実行すべき数を推定します。

このアプローチでは、すべてのキャッシュミスを転送として扱うことを避けます。エキスパートを後続トークンのためにキャッシュへ残せるため、転送が有効な場合もあります。一方で、ホスト帯域幅に余裕がある場合やキャッシュ容量が限られている場合は、CPU実行の方が高速になる可能性があります。

報告された2026年の評価では、6台のマシンと複数のエージェント型ワークロードを用いて、FreeTokenと現在も積極的に保守されているエッジサービングエンジンを比較しています。結果は、最新のNVIDIA GPU、十分なホストメモリ、そしてCPUメモリ帯域幅とPCIe転送容量のバランスが取れたシステムで最も優れています。

RTX 5090では、Qwen3.6-35Bで毎秒77～83トークン、DeepSeek-V4-Flashで毎秒22～25トークンを報告しています。8 GB構成のRTX 4060ノートパソコンでは、Qwen3.6の報告結果は毎秒39.3トークンに達します。ワークステーション級のRTX PRO 6000では、GLM-5.2を毎秒14.9トークンで処理しており、比較対象として示されたllama.cpp構成の7.3と比べて高い結果です。

テールレイテンシーも重要です。評価では、テストされた条件におけるFreeTokenの最も遅いターンが44秒未満に収まった一方、ベースラインシステムでは一部のケースで大幅に長い遅延を超えたと報告されています。エージェントアプリケーションでは、クライアントのウォッチドッグやタイムアウトに割り込まれる前にリクエストを完了できるかどうかに影響します。

ただし、ベンチマークは適切な注意を払って読む必要があります。測定は論文の著者によって実施されており、利用可能な資料からは広範な第三者による再現性は確認できません。また、特にDecodeスループットとエンドツーエンドの本番トレースを比較する際には、測定の定義に注意が必要です。

2026年のリリースは、初期段階のシステムとして扱うべきです。公開されている分類情報では、ベータ開発状況、CUDA環境、POSIX Linuxオペレーティングシステムが示されています。利用可能なプラットフォーム資料からは、Apple Silicon向けのネイティブビルド、広範なmacOSサポート、成熟したエッジランタイムに匹敵するハードウェア対応範囲は確認できません。

プロジェクトが示す方向性には、FTW重み形式、CUDA互換カーネル、CPU SIMD実装、そしてピン留めメモリやDMA登録が利用できない場合の純粋なCPUによるMoEバックエンドが含まれます。これらの機能は柔軟性を高めますが、すべてのオペレーティングシステムやグラフィックスカードで同等の性能を保証するものではありません。

最初の評価では、ホストメモリの予算に収まるモデルと、短時間の管理されたワークロードから始めてください。起動時間、最初のトークンまでの時間、安定時のDecode速度、キャッシュの挙動、最も遅いターンのレイテンシーを記録します。その後、通常のデスクトップアプリケーションを実行しながらテストを繰り返し、負荷がかかった状態で柔軟なメモリ管理がどのように動作するかを確認してください。

FreeTokenは、あらゆるローカル推論エンジンを置き換える万能なソリューションではありません。適したNVIDIAハードウェアを所有し、MoEモデルを扱い、ローカルでの制御、予測可能な可用性、ホスト型推論への依存低減を重視する技術に精通したユーザーや小規模チームに最も適しています。

プラットフォームの広さを優先する場合、このシステムは適さない可能性があります。Apple Silicon、古いNVIDIAカード、CUDA非対応デバイスに依存するユーザーや、簡単なクロスプラットフォームインストールを必要とするユーザーは、移行に時間をかける前に対応状況を確認してください。

このリリースのより広い意義は、アーキテクチャにあります。GPUメモリだけを単独で評価するのではなく、コンシューマー向けハードウェアを統合されたシステムとして扱います。エキスパートキャッシュ、CPUとの協調実行、意味的チェックポイント、ランタイムでのメモリ調整によって、専用データセンターの外で大規模なスパースモデルを利用可能にするという同じ問題の異なる側面に対応しています。