FreeToken github：ローカルMoEセットアップガイドとベンチマーク

FreeToken githubは、個人用およびコンシューマー向けハードウェアでフロンティア規模のオープンウェイトMixture-of-Expertsモデルを実行するために設計された、エッジネイティブ推論エンジンの公開拠点です。このプロジェクトは、GPUメモリ、システムRAM、CPU計算能力、インターコネクト帯域幅を、GPUを単独のデバイスとして扱うのではなく、柔軟な単一のサービングプラットフォームとして組み合わせます。

公式のFreeToken GitHubリポジトリには、プロジェクトの説明、デスクトップアプリの方針、CLIインストールに関する注意事項、研究論文の引用情報、謝辞、ライセンス情報が掲載されています。また、論文、開発者向けSlack、コミュニティDiscord、コミュニティWeChatの各チャンネルへのリンクも用意されています。

動画のハイライト：

• FreeTokenは、GPUメモリに完全には収まらない大規模MoEモデル向けに設計されています。
• 適応型エキスパートキャッシュにより、頻繁に使用されるモデルコンポーネントをGPUの近くに保持できます。
• エージェントワークロードでは、ツール呼び出しを繰り返す際のコンテキスト再計算を減らせます。
• このプロジェクトは特化型であり、あらゆるローカル推論ランタイムを置き換える汎用ソリューションではありません。

Mixture-of-Expertsモデルは、非常に多くの総パラメータを含みながら、各トークンではその一部のエキスパートだけをアクティブ化できます。このスパースな実行パターンによって、フロンティア規模のローカル推論がより現実的になりますが、完全なチェックポイントをどこかに保存しておく必要がある点は変わりません。

FreeTokenは、複数の連携したランタイム戦略によってこの課題に対応します。帯域幅適応型のCPU–GPU協調実行ポリシーは、処理をCPUに残すべきかGPUへ移すべきかを判断します。この判断は固定されたハードウェア分割ではなく、実際のシステム性能に基づいて行われます。

このプロジェクトでは、グローバルLRUエキスパートキャッシュも使用します。実際には、頻繁に必要となるエキスパートを高速なメモリ層に残し、利用価値の低いエントリを置き換えることができます。モデルの全重みがシステムメモリにも一部保存される場合、この仕組みは特に重要です。

ダブルバッファ方式のprefillストリーミングは、GPUがすでに実行している処理の背後に転送遅延を隠そうとします。転送には依然として帯域幅が必要ですが、計算と重ね合わせることで、ユーザーから見える待ち時間を短縮できます。プロンプトが長くなり、エージェントが作業コンテキストを繰り返し更新するほど、このアプローチの重要性は高まります。

公式のプロジェクト説明では、グラフ互換実行とセマンティック認識型キャッシュも重視されています。これらの機能は、ファイルを読み込み、ツールを呼び出し、結果を受け取り、続けてリクエストを送信するコーディングエージェントのように、プロンプトが段階的に変化するワークロードを対象としています。

リポジトリでは、主に2つの利用経路が示されています。WindowsまたはLinux向けのデスクトップアプリケーションと、uvまたはpipを使用するコマンドラインインストールです。高速化されたCLI経路は、現時点ではLinux、x86-64ハードウェア、Nvidia GPU、CUDA 13、最近のドライバーと特に密接に関連しています。

初回セットアップを集中して検証可能なものにするため、次の手順を使用してください。

FreeTokenが最も力を発揮するのは、GPUに完全には収まらない大規模MoEモデルです。そのような状況では、ランタイムがホストメモリを利用しながら、CPUとGPUの役割分担を適応的に調整できます。

報告されたテストでは、RTX 5090上でQwen 3.5 35B A3Bを実行した場合、選択されたワークロード全体で毎秒約77～83トークンが記録されています。同じ大まかなテスト環境では、DeepSeek V4 Flashは毎秒約22～25トークンと報告されています。これらはプロジェクト関連のテストによる数値であり、普遍的な保証ではなく、ワークロード固有の結果として扱う必要があります。

別に報告されたコミュニティ結果では、RTX 5080、システムメモリ64 GB、Ryzen 9 9950X3Dが使用されました。そのユーザーはQwen 3.5 35B A3Bで毎秒約100トークン、一例では毎秒約110トークンを報告しています。これは初期段階のコミュニティ結果であり、管理されたベンチマークではありません。

トークン生成速度は、体験全体の一部にすぎません。特にクライアントが会話を繰り返し編集する場合、エージェントワークフローではコンテキスト処理中に長い遅延が発生することがあります。FreeTokenのセマンティック認識型キャッシュは、変更されていないコンテキストを維持し、冗長な再計算を減らすことを目的としています。

公平に比較するには、同一のチェックポイント、量子化方式、プロンプト長、コンテキスト設定、クライアント動作でテストしてください。VRAMに完全に収まる小規模モデルであれば、別のランタイムでもすでに非常に優れた性能を発揮する可能性があります。メモリ移動と長いコンテキスト更新が主な制約となる場合に、FreeTokenの魅力はより高まります。

FreeTokenは特化型のプロジェクトです。WindowsおよびLinuxのデスクトップ利用を重視する一方で、高速化されたコマンドラインのドキュメントは、Linux、x86-64システム、Nvidia GPU、CUDA 13、最新のドライバーを中心に構成されています。あらゆるハードウェア環境に対応する汎用CPUランナーや、すべてのランタイムを置き換える幅広い代替手段として提示されているわけではありません。

また、このプロジェクトを使用しても、十分なストレージとシステムRAMが必要である点は変わりません。スパース実行によってトークンごとのアクティブパラメータ数が減っても、大規模なチェックポイント自体のサイズは小さくなりません。モデル形式、量子化、コンテキスト長、エージェントの動作はいずれも、最終的なメモリ要件に影響します。

Apache License 2.0により、このリポジトリはライセンス条件の範囲内で調査や再利用に適しています。このプロジェクトは、SGLang、vLLM、FlashInfer、LightLLM、flash-linear-attention、llama.cppなどのシステムから着想を得たこと、およびコードを再利用していることを明記しています。変更したコンポーネントを配布する前に、リポジトリの現行ライセンスとNOTICEファイルを確認してください。