FreeTokenベンチマーク：ローカルMoEサービングセットアップガイド

FreeTokenベンチマークは、大規模なMixture-of-Experts（MoE）モデル向けに設計された、エッジネイティブなサービングシステムの評価を指します。モデル全体をVRAMに収める必要はなく、FreeTokenは完全なエキスパートプールをホストメモリに保持しながら、GPUを柔軟なキャッシュおよび実行リソースとして使用します。

このシステムは、GPU容量、PCIeリンク、CPU帯域幅、メモリ容量が異なるマシンでのローカル推論を対象としています。ベンチマークでは、デコードスループット、初回トークンまでの時間、マルチターンのエージェントワークロード、複数のコンシューマー向けGPUクラスにおける性能に重点を置いています。

動画のポイント：

• FreeTokenは、GPU VRAM、CPU処理、システムRAMを組み合わせてローカルモデルサービングを実行します。
• デスクトップアプリケーションはWindows、Linux、macOSのワークフローに対応しています。
• コマンドラインインターフェースからモデルを起動し、OpenAI互換のローカルエンドポイントを公開できます。
• ランタイム統計には、トークン速度、処理済みトークン数、リクエスト数、キャッシュの稼働状況が含まれます。

MoEモデルには多数のエキスパートが含まれていますが、各トークンで有効化されるのはその一部だけです。これによりアクティブな計算量は削減されますが、エキスパートの完全な集合はコンシューマー向けGPUのVRAM容量を大幅に超える場合があります。FreeTokenは、2層のメモリ階層によってこの不一致に対応します。

CPU上に常駐するエキスパートプールには、ルーティング対象となるすべてのエキスパートの重みが保存され、正本として機能します。エキスパート以外のモデル重みはGPUに残され、残りのVRAMはKVキャッシュと柔軟なエキスパートキャッシュに分割されます。

プリフィル中、FreeTokenはレイヤー全体のダブルバッファリングを使用します。GPUがあるレイヤーを計算している間に、次のレイヤーのエキスパートをPCIe経由で移動できます。これにより、各エキスパートの移動が完了するまで実行を待つのではなく、転送と計算をオーバーラップさせます。

デコード中、システムは共有のLRU（Least Recently Used）エキスパートキャッシュを使用します。最近ルーティングされたエキスパートはVRAMに残る可能性が高く、キャッシュミスはGPUキャッシュへの充填とCPUでの直接実行に分けられます。

論文では、このバランスをq-starポリシーによって説明しています。ランタイムはホスト側のエキスパート帯域幅とPCIe転送帯域幅をプロファイルし、その測定値に基づいて、欠落したエキスパートのうち何個をGPUへ移動し、何個をCPUで実行するかを決定します。

FreeTokenは、デスクトップアプリケーションまたはコマンドラインワークフローから利用できます。CLIはモデルパス、起動引数、エンドポイントの動作、ランタイム出力をより直接的に扱えるため、再現性のあるテストに適しています。

以下のセットアップ手順は、ドキュメントに記載されたクイックスタートの流れに従っています。起動コマンドで指定するパスにモデルファイルがすでに存在することを確認してください。指定場所にモデルがない場合、ランタイムはそのモデルをサービングできません。

ランタイムのコンソールには、トークン毎秒の速度、リクエスト数、処理済みトークンの合計、キャッシュヒット情報など、有用な運用情報を表示できます。モデル構成が適切かどうかを判断する際には、GPU VRAMとシステムRAMの空き容量も重要です。

公開されている評価では、短く独立したプロンプトだけに頼るのではなく、エージェント型のワークロードでFreeTokenをテストしています。シナリオには、数学的推論、ツールを使用するコーディングタスク、ネイティブなコーディングエージェントのリクエスト、メールとカレンダーを扱うワークフローが含まれます。

このベンチマークでは、FreeTokenをllama.cpp、Ollama、KTransformersなどのエッジサービングシステムと比較しています。評価には、RTX 3090、RTX 4090、RTX 5090、RTX 4060搭載ノートPC、RTX PRO 6000 Blackwellワークステーションなど、複数のGPUおよびホスト構成が使用されています。

RTX 5090での評価では、FreeTokenはQwen3.6で毎秒77～83トークン、DeepSeek-V4-Flashで毎秒22～25トークンを報告しています。これらの数値はテストされたワークロードと構成における結果であり、すべてのシステムに対する普遍的な速度保証ではありません。

このベンチマークでは、FreeTokenのキャッシュポリシーにより、静的配置やプリフィルベースの配置と比べて、デコード時のエキスパートキャッシュミスが減少したことも報告されています。テストされたRTX 5090の容量では、報告されたミス率はQwen3.6で16%、DeepSeek-V4-Flashで39%でした。これは評価対象となったベースラインポリシーよりも低い値です。

さらに詳しい技術情報については、FreeTokenの研究論文を参照してください。帯域幅適応型の実行ポリシー、セマンティック対応キャッシュ、実装、評価方法が解説されています。

有用なローカルベンチマークでは、最大トークン速度以外の情報も記録する必要があります。各構成で同じモデル、プロンプト形式、量子化方式、コンテキスト長、ワークロードをテストしてください。エージェント型サービングでは、マルチターンのコンテキストとツール呼び出しの動作を維持してください。繰り返しのプリフィルによって、シングルターンのテストでは見えない差が明らかになる場合があります。

ランタイムコンソールを使って、トークン速度、リクエスト総数、処理済みトークン数、キャッシュの動作を監視してください。実行ごとに性能が変化する場合は、別のアプリケーションがVRAMを消費していないか、利用可能なホストメモリ帯域幅が変化していないかを確認します。

実用的なテスト手順は次のとおりです。

• 正常性を確認するため、短いプロンプトから始める。
• シングルターン生成を測定し、デコード速度のベースラインを取得する。
• 長いプロンプトを追加して、プリフィルとTTFTを観察する。
• コンテキストを再利用しながら複数ターンを実行する。
• 柔軟なリソース動作を調べたい場合は、GPUをバックグラウンドで使用している状態でも繰り返す。