FreeTokenのインストール：エッジサービング設定のステップガイド

FreeTokenは、大規模な**Mixture-of-Experts（MoE）**モデル向けのエッジネイティブ・サービングシステムです。ゲーム、ダウンロード可能なキャラクタータイトル、または引き換えコードサービスではありません。そのため、インストールプロセスはGPU推論、ホストメモリ、CUDAサポート、モデルストレージ、ランタイム設定を中心に行います。

公開されている設計は、利用可能なVRAMを完全なエキスパートプールが上回る可能性のあるパーソナルコンピューター、ワークステーション、ノートパソコンを対象としています。FreeTokenはルーティング対象となるエキスパートプール全体をホストメモリに保持し、GPUメモリを可変式のエキスパートキャッシュとして使用します。エキスパート以外の重みはGPU上に残り、他のアプリケーションがVRAMを使用または解放すると、キャッシュ容量は変化します。

最も重要な違いは、容量と性能の間にあります。モデル全体をVRAMに完全に収める必要はありませんが、ホスト側にはエキスパートプールを保持し、許容できるレイテンシーを実現する十分な転送帯域幅を提供する能力が必要です。

参考システムの報告では、スペックシート上の想定よりもハードウェアのバランスが重要です。PCIe帯域幅が限られたノートパソコンではCPU実行を増やす構成が適する場合があり、一方でGPU転送帯域幅に余裕のあるデスクトップでは、より多くのキャッシュスロットを埋めることで性能が向上する可能性があります。

ランタイムを入手する前に、マシンとモデル資産を準備してください。公開されているシステムでは、FreeToken Weight（FTW）形式と呼ばれる正規化されたエキスパートレイアウトを使用します。この形式は、論理的なレイヤー・エキスパート識別子を基準にエキスパートバンクを整理し、CPUエグゼキューターとGPUキャッシュが同じマッピングを利用できるようにします。

利用可能な参考資料には、汎用的な変換コマンドやパッケージマネージャーの手順は記載されていません。他の推論エンジンのコマンドを推測して使用しないでください。代わりに、公式のFreeTokenプロジェクトのリリースチャンネルに関連付けられた最新のリリースドキュメントが公開されたら、それを使用してください。

次の準備表を使ってデプロイメントを整理してください。

FreeTokenの設計は、次のような重要なランタイム動作をサポートしています。

• 全レイヤーのダブルバッファリング：プレフィル中にエキスパート転送とGPU計算をオーバーラップさせます。
• セマンティクス対応の状態キャッシュ：思考ブロック、ツール呼び出し、会話ターンの周辺にある有用なプレフィックスを保持します。
• 共有LRUエキスパートキャッシュ：デコード中に変化するトークン単位のルーティングに追従します。
• 帯域幅適応型実行：キャッシュミスをPCIe転送とCPUによる直接実行に分配します。
• 可変式キャッシュ再構築：エンジンを再起動せず、スケジューラーが安全なポイントに到達した時点でGPUエキスパートキャッシュの予算を変更します。

初回のデプロイメントでは、1つのモデルと制御されたワークロードを使用してください。複数の大規模チェックポイントを同時にテストすることは避けましょう。ホストメモリとストレージの要件が、ランタイム上の問題と区別しにくくなる可能性があります。

以下の手順を順番に実行してください。この順序では、環境準備、モデル変換、ランタイムチューニングを分離しているため、問題の診断が容易になります。

初期検証では、ピークスループットではなく機能を重視してください。ランタイムがコールドキャッシュ状態でリクエストを処理できることを確認します。FreeTokenは設計上、別個のウォームアップフェーズを必要としません。初期リクエストの実行を通じて、通常の処理の中でキャッシュを構築できます。

FreeTokenの主要なチューニング概念は、ホスト側帯域幅とPCIe転送帯域幅の関係です。ランタイムは次の2つの値を測定またはプロファイリングします。

• Bₚ：PCIe経由のピン留めエキスパート転送帯域幅。
• Bₕ：CPUによるエキスパート実行に利用できる実効ホスト側帯域幅。

m個のエキスパートが欠落しているデコードステップでは、システムは次の関係でキャッシュ充填数を推定します。

q* ≈ m × Bₚ / Bₕ

これはユーザー向けの保証値でも、固定されたハードウェアルールでもありません。GPUキャッシュへの同時充填とCPU実行のバランスを取るスケジューリングモデルです。適切な分割は、ノートパソコンやデスクトップ、PCIe構成、メモリチャネル、バックグラウンド負荷によって変化します。

GPUメモリの予算も計画する必要があります。FreeTokenは、利用可能なVRAMをKVキャッシュと完全なエキスパートスロットに分配します。コンテキストが長くなるほどKVキャッシュの需要は増えますが、エキスパートキャッシュを大きくするとデコード時のキャッシュミスを減らせます。システムは安全なポイントでエキスパートキャッシュを再構築できるため、このバランスをセッション全体で固定しておく必要はありません。

参考評価は、結果を保証値とすることなく、規模を把握するための有用な指標を示しています。RTX 5090のテストシステムでは、FreeTokenはテストしたワークロードにおいて、Qwen3.6-35Bで毎秒77～83トークン、DeepSeek-V4-Flashで毎秒22～25トークンを報告しました。結果はモデルの精度、キャッシュ容量、ホスト帯域幅、プロンプト長、バックグラウンドアプリケーションによって異なります。

基本テストから本番形式のローカルエンドポイントまたはエージェントワークロードへ移行する前に、このチェックリストを使用してください。

FreeTokenのフォールバック動作も重要です。OSまたはドライバーの制限により、エキスパートプール全体をピン留めしたりDMA用に登録したりできない場合、ランタイムはCPUのみのMoEバックエンドを使用できます。これによりデプロイのしやすさは向上しますが、高速な転送経路は利用できなくなります。エキスパート以外のレイヤーはGPU上に残しつつ、アクティベーションサイズの入力、ルーティングメタデータ、出力をデバイス間で転送することも可能です。

短いプロンプト1件だけでインストール品質を判断しないでください。プレフィルとデコードはシステムの異なる部分に負荷をかけ、複数ターンのエージェントセッションではコンテキスト処理が繰り返し発生します。有効なテスト計画には、短いリクエスト1件、長いプロンプト1件、繰り返しデコード、コンテキスト編集ワークロードを含めてください。