FreeToken linux：セットアップガイド、制限事項とベンチマーク

FreeToken linuxは、個人用ハードウェア上で大規模なMixture-of-Expertsモデルを提供するために設計された、ベータ段階のローカル推論システムです。すべてのエキスパートの重みをGPUメモリに保持する代わりに、エキスパート全体をホストメモリに置き、利用可能なVRAMを柔軟なキャッシュとして使用します。そのため、このプロジェクトはモデル、ゲーム、報酬コードのプラットフォームというよりも、システムランタイムとして位置付けられます。

最も適しているのは、コーディング、数学、またはツールを使用するエージェントを通じて、大規模なオープンウェイトモデルを実行する開発者です。モデルが利用可能なVRAMを超えていても、活性化がスパースである場合、FreeTokenは特に有用です。このシステムは、コンシューマー向けGPU、CPU、RAM、PCIeのリソースを、1つの協調的な推論プラットフォームとして活用することを目指しています。

動画のハイライト：

• FreeTokenは、数千億パラメータ規模のモデルをローカルで提供することを目指しています。
• ルーティングを考慮したキャッシュにより、デコード中の不要なエキスパート転送を削減します。
• 報告されているベンチマークには、NVIDIAのデスクトップ、ワークステーション、8 GBのノートPC向けGPUが含まれます。
• 利用可能なプロジェクトメタデータでは、LinuxとNVIDIA CUDAが最も明確にサポートされている環境です。

Mixture-of-Expertsモデルには多数のエキスパートネットワークが含まれますが、ルーターは各トークンに対してその一部だけを活性化します。参考論文では、DeepSeek-V4-Flashを例として挙げています。各レイヤーで256個のルーティング対象エキスパートのうち6個が活性化され、284Bパラメータのモデルに対して13Bのパラメータがアクティブになります。スパースな活性化によって計算量は減りますが、すべてのエキスパートの重みには引き続きアクセスできなければなりません。

FreeTokenは、モデルをCPU常駐のエキスパートプールとGPU常駐のワーキングセットに分けます。GPUキャッシュはMoEレイヤー間で共有されるLRUポリシーを使用し、最近選択されたエキスパートを後続のトークンでも利用できるようにします。エキスパートがキャッシュにない場合、ランタイムはそのエキスパートをGPUへ転送するか、CPU上で直接実行できます。

ランタイムは、ホスト側のエキスパート処理帯域幅と、PCIe経由のページ固定転送帯域幅という2種類の帯域幅を測定します。その後、GPUキャッシュに取り込むべきキャッシュミスのエキスパート数と、CPU上でそのまま実行すべきエキスパート数を推定します。この方式により、すべてのハードウェア構成を同一のものとして扱う必要がなくなります。

プリフィル中、FreeTokenはレイヤー全体のダブルバッファリングを使用します。あるレイヤーを実行している間に、次のレイヤーのエキスパートをPCIe経由でストリーミングできます。デコード中は、共有キャッシュが変化するルーターの判断に追従します。同じキャッシュが両方のフェーズをサポートするため、プリフィル用とデコード用に分離したメモリプール間で、コストの高い切り替えを行う必要がありません。

利用可能な情報では、Linux、NVIDIA CUDA、POSIXオペレーティングシステム、ベータ開発段階が最も明確な対象環境として示されています。パッケージングは急速に変わる可能性があるため、古いガイドのコマンドをコピーするのではなく、flashml.aiにあるプロジェクトの最新リリース手順を使用してください。

FreeTokenの公開評価では、大規模MoEモデルとエージェント型ワークロードで最も強い結果が報告されています。RTX 5090では、Qwen3.6-35Bで毎秒77～83トークン、DeepSeek-V4-Flashで毎秒22～25トークンに達します。また、8 GB GPUを搭載したRTX 4060ノートPCでは毎秒39.3トークン、単一のRTX PRO 6000ではGLM-5.2で毎秒14.9トークンが報告されています。

同じ評価では、最初のトークンまでのテール時間も重視されています。FreeTokenで報告された最悪ターンは、テストされたセルでは44秒未満に収まりました。一方、一部の構成ではベースラインの停止時間がそれを大きく上回りました。これらの測定値はプロジェクト独自の評価によるものなので、導入を決定する前に独立したテストを行うことも有用です。

llama.cppとの比較は、単純に平均速度だけで決まるものではありません。参考分析では、あるRTX 5090のキャッシュ容量において、FreeTokenのグローバルLRUキャッシュはQwen3.6のエキスパート読み取りの16%をキャッシュミスにしたと報告されています。これは、ルーティングを考慮しない静的分割の62%と比較した値です。同じ比較地点におけるDeepSeek-V4-Flashでは、FreeTokenのミス率は39%でしたが、引用された静的ポリシーではさらに高い頻度でミスが発生しました。

ただし、互換性は大きなトレードオフです。利用可能なプロジェクトメタデータでは、サポート対象はLinuxとNVIDIA CUDAの環境とされています。旧世代NVIDIAカード、デュアルGPUのDockerサポート、GGUF、Windowsの修正、Apple Siliconのサポートに関する要望は、ローンチ時点では未解決の課題として説明されていました。FreeTokenがより限定されたシステム構成で性能上の優位性を持つ場合でも、既存のプロジェクトのほうが幅広いハードウェアに対応している可能性があります。

FreeTokenは、ローカルでオープンウェイトのMoE推論を行うための、エッジネイティブなサービングシステムとして理解するのが適切です。すべてのモデルをあらゆるコンピューターに適したものにするわけではなく、ピーク時のトークン毎秒だけで評価すべきでもありません。Linuxユーザーは、互換性の確認、メモリ計画、現実的なマルチターンテストを優先してください。

技術的な詳細は、2026年8月24日に公開されたarXivのFreeToken論文に記載されています。この論文では、キャッシュアーキテクチャ、帯域幅適応ポリシー、柔軟なメモリ管理、実装方法、評価手法について説明されています。