FreeToken codex：セットアップガイド、ベンチマークと制限事項

FreeTokenは、非常に大規模なmixture-of-expertsモデルを単一のワークステーションGPUでより実用的に実行するために設計されたローカル推論システムです。特に、ローカルモデルの性能を制限しがちなメモリ転送の問題に取り組んでいるため、プライベートなコーディングエージェントを構築する開発者にとって重要なプロジェクトです。

基本的な考え方はシンプルです。モデルには数千億ものパラメータが含まれている場合がありますが、mixture-of-expertsアーキテクチャでは、各トークンに対して少数のエキスパートだけが有効化されます。すべてのエキスパートを同じように重要なものとして扱うのではなく、FreeTokenはルーターが要求する可能性の高い重みを追跡し、それに応じてシステムメモリを管理します。

2026年8月17日付の論文では、1台のワークステーションGPU上で7530億パラメータのモデルを実行する構成が説明されています。これは、モデル全体が96 GBのVRAMに収まるという意味ではありません。報告された4ビット量子化の重みはディスク上で約433 GBを占めるため、FreeTokenは選択的な読み込み、キャッシュ、システムRAMとGPUメモリ間の転送に依存します。

動画のハイライト：

• FreeTokenの実行時ルーティング方式と、静的なエキスパートオフロードの比較。
• Qwen、DeepSeek、GLMの各モデルファミリーで報告された性能。
• Windows、Docker、GGUF、Apple Silicon、複数GPUに関する実用上の制限。
• クラウド料金の単純比較よりも、ローカルでのプライバシーが重要になる理由。

FreeTokenの報告結果は、モデルがmixture-of-expertsルーティングを使用し、システムに十分なメモリ帯域幅があり、アクティブなエキスパートを利用可能な状態に保てる場合に最も優れています。引用されたテストでは、同様のルーティングトレースとキャッシュ条件のもとで、このエンジンがllama.cppと比較されました。

報告された数値は、複数の構成で明確な優位性を示しています。RTX 5090クラスのワークステーションカードでは、Qwen 35Bが毎秒約77～83トークンに達し、DeepSeek V4 Flashは毎秒約22～25トークンに達しました。同じ議論で紹介されたGLM 5.2のテストでは、llama.cppの毎秒7.3トークンに対して、毎秒14.9トークンを記録しました。

これらの数値は、あらゆるハードウェアで保証される性能ではなく、プロジェクトが報告したベンチマークとして読むべきです。結果は、モデルの量子化、プロンプト長、コンテキストサイズ、キャッシュ設定、ストレージ速度、ドライバーバージョン、正確なGPUモデルによって変化する可能性があります。

クラウドとの比較には特に注意が必要です。見出し用のグラフでは、FreeTokenのデコード速度とクラウドコーディングエージェントの数値が並べられることがありますが、これらの測定値は推論の異なる段階を表している可能性があります。引用された分析では、クラウド側の参考値について、エンドツーエンドの正規化値と、毎秒61.3トークンという純粋なデコード速度の中央値を区別しています。

そのため、単純な棒グラフの比率が示すほど、比較結果は劇的ではありません。引用された構成ではFreeTokenのほうが依然として高速に見えますが、同じ分母を使用した場合、その差はより控えめな性能上の優位性に近くなります。

最も実用的な比較は、単にどちらのエンジンが高いトークンレートを報告しているかではありません。重要なのは、すでに利用しているハードウェア、モデル形式、デプロイワークフローをどちらのエンジンがサポートしているかです。

FreeTokenは、動的なエキスパート配置という特定のシステム上の問題に焦点を当てています。Llama.cppはより成熟しており、Apple Metal、AMD、Vulkan、モバイル向け環境など、より幅広いハードウェアバックエンドをサポートしています。また、CPU向けのmixture-of-expertsオプションも提供していますが、引用された比較では、この方式はルーティングを認識する動的方式ではなく静的方式として説明されています。

対応するNvidia GPUを使用する開発者にとって、FreeTokenは魅力的な性能検証の選択肢になる可能性があります。一方、異なるハードウェアを混在させるチーム、Macユーザー、GGUFやDockerのサポートを必要とするユーザーにとっては、llama.cppのほうが便利な基準環境であり続ける可能性があります。

プロジェクトが初期段階にあることは重要です。引用されたローンチ時の議論では、GitHubに8件の未解決Issueがあり、その中にはWindowsでのインストール失敗、Dockerサポートの欠如、GGUFサポートの欠如、デュアルGPUモードの欠如、Apple Siliconの未対応が含まれていました。コーディングエージェントのワークフローが再現可能なコンテナやMacワークステーションに依存している場合、これらは些細な問題ではありません。

FreeTokenは、ワンクリックで使えるコーディングアシスタントではなく、技術的なセットアッププロジェクトとして取り組むべきです。引用された実装は、FlashML/FreeToken GitHubリポジトリおよびApacheライセンスの研究リリースに関連しています。インストール前に、プロジェクトのドキュメントと現在のIssueトラッカーを確認してください。

この論文はarXiv:2608.16157として識別され、2026年8月17日に投稿されています：FreeTokenの論文を読む。プロジェクトコードはGitHub上のFlashML/FreeTokenとして参照されています。作業を進める前に、これらのリンクと対応リビジョンが目的のデプロイ環境に適合していることを確認してください。

FreeToken codexを検討する最大の理由は、必ずしも料金ではありません。ローカル推論では、プロンプト、ソースコード、中間応答を自分で管理するハードウェア上に保持できます。これは、専有リポジトリ、規制対象の業務、ホスティング型コーディングサービスに送信できないプロジェクトにとって価値があります。

引用されたコストに関する議論では、2026年7月に4,000ドルを超える価格で販売されていたワークステーションGPUと、クラウドコーディングエージェントのセッションが比較されています。同じハードウェア購入費用は、ある引用されたプレミアムサービスでは中央値ベースで約500セッション、低価格帯のDeepSeek料金では最大40,000セッションに相当すると推定されています。これらは説明用の試算であり、普遍的な投資回収公式ではありません。

ローカルハードウェアには、クラウドとの比較で省略される可能性のある費用も発生します。

• GPUの購入費または減価償却
• 電気代と冷却費
• モデルファイル用のストレージ
• システムメモリの増設
• セットアップと保守にかかる時間
• ドライバー、コンパイラ、モデルの互換性対応

ローカルシステムでは、プロバイダーのモデル提供終了スケジュールへの依存も避けられます。ただし、その利点には責任が伴います。ドライバーの更新、温度の監視、ローカルエンドポイントの保護、プロンプトやプロジェクト設定のバックアップを自分で行う必要があります。

FreeTokenは、負荷の高いmixture-of-expertsワークロード向けの初期段階にあるローカル推論プロジェクトと理解するのが適切です。システムの調整を楽しみ、互換性のあるNvidiaハードウェアを持つ開発者には役立つ可能性がありますが、確立されたランタイムをすべて置き換える万能な選択肢ではありません。