FreeToken deepseek：ローカルAIセットアップガイドとベンチマーク

FreeTokenは、GPU、CPU、ホストメモリ、およびそれらを接続するPCIe接続をまたいで、大規模なMixture-of-Expertsモデルを提供するためのエッジネイティブ推論システムです。DeepSeekで最も有用なシナリオはDeepSeek-V4-Flashです。このモデルでは、各トークンに対してモデル内の一部のエキスパートだけが活性化されますが、完全なエキスパートプールは一般的なコンシューマー向けGPUメモリよりはるかに大きくなります。

すべてのエキスパートをVRAMに常駐させる代わりに、FreeTokenはルーティング対象となるエキスパートプール全体をホストメモリに保持し、利用可能なGPUメモリを柔軟なキャッシュとして使用します。ランタイムは必要に応じてエキスパートをGPUへ移動したり、キャッシュにないエキスパートの一部をCPU上で直接実行したりできます。これにより、モデル全体をVRAMに保持できないハードウェアでもローカルでの実験が可能になります。

動画のハイライト：

• RTX 3090クラスの構成による単一GPUでのDeepSeek-V4-Flashテスト
• デスクトップアプリケーションとローカルエンドポイントのワークフロー
• 対話型チャットのためのOpen WebUI接続
• あるサーバー構成で報告された、毎秒約10～11トークンのデコード性能
• メモリ制限、ベータ版の挙動、モデル互換性に関する警告

研究設計では、相互に補完する2つのアイデアを採用しています。Prefill中、FreeTokenはフルレイヤーのダブルバッファリングによって、エキスパート転送とGPU計算をオーバーラップさせます。Decode中は共有LRUエキスパートキャッシュを使用し、最近ルーティングされたエキスパートがGPU上に残りやすくします。

また、このシステムは公称仕様だけに依存せず、対象マシンを実測します。ホストメモリ帯域幅とPCIe転送帯域幅によって、キャッシュにないエキスパートのうち、GPUへコピーすべき数とCPUで直接処理すべき数が決まります。

最も重要な区別は、アクティブパラメータと保存される総パラメータの違いです。DeepSeek-V4-Flashは、284BパラメータのMoEモデルで、トークンごとのアクティブパラメータは約13Bと説明されています。スパースな活性化によって各トークンに必要な計算量は減りますが、エキスパート全体は依然としてシステム内のどこかに格納されている必要があります。

参考資料では、論文のFP4展開における有力なターゲットとしてRTX 5090が挙げられています。一方、実用テストでは、ホストメモリへのオフロードを利用してRTX 3090クラスのマシン上でもDeepSeek-V4-Flashを動作させています。これらは異なる構成であるため、結果を相互に置き換え可能なベンチマークとして扱うべきではありません。

動画の単一GPUテストでは、システムメモリ32 GBが開始地点になり得る一方、64 GB以上あればより安全な動作余裕を確保できることが示唆されています。研究論文でも、GPUを十分に活用した後は、システムRAM、メモリ速度、PCIe帯域幅が制限要因になる可能性が強調されています。

DDR5は、古いデュアルチャネルDDR4プラットフォームに比べて大きな利点をもたらす可能性があります。これは、ホスト側のエキスパート実行とPCIe転送がメモリ帯域幅を競合するためです。ただし、具体的な結果は、マザーボード、メモリ構成、CPU、OS、実行中のアプリケーションによって異なります。

デスクトップのワークフローは、手動で行うエンジン設定の量を減らすように設計されています。利用可能な配布形式はOSによって異なり、参考テストではWindows、Ubuntu、AppImage、Arch Linux、およびデスクトップアプリケーションの手順が扱われています。

対応するモデル形式を使用し、開始前に必要なホストメモリが利用可能であることを確認してください。選択したチェックポイントが現在のハードウェアの予算を超える場合、FreeTokenは使用可能なRAMやVRAMが不足していると報告することがあります。

APIサーバーの準備が完了していても、ダウンロードしたすべてのモデルが正常に動作するとは限りません。テストノートでは、Qwen 3.8 27B BF16構成の起動に失敗した例が説明されています。これは、モデルのサポート状況とメモリへの適合性を別々に確認する必要があることを示しています。

パフォーマンスは、エキスパートの局所性、キャッシュ容量、ホスト帯域幅、ワークロードの相互作用によって決まります。エージェント型ワークロードではコンテキストを繰り返し参照し、アクティブなエキスパートのパターンが変化するため、短い1ターンのプロンプトと、複数ターンのコーディングやツール利用セッションでは結果が異なる場合があります。

参考にしたRTX 3090クラスのテストでは、DeepSeek-V4-Flashはサーバー側のワークフローで毎秒約10～11トークンに達しました。あるテストでは、デスクトップクライアントの実測値は毎秒約8.8トークンと、より低い結果になりました。これらの数値は構成固有のものであり、普遍的な目標値ではありません。

研究評価では、より新しいハードウェアでさらに高い結果が報告されています。RTX 5090では、FreeTokenは一覧にあるエージェント型ワークロード全体で、DeepSeek-V4-Flashに対して毎秒約22～25トークンを維持しました。同じ論文では、静的配置戦略と比較して、グローバルLRUキャッシュのほうがミス率が低いことも報告されています。

FreeTokenのキャッシュは柔軟に変化します。これは、セッション中にエキスパートの保存とKVキャッシュの最適な配分が変わるためです。長い会話ではKVキャッシュのメモリ消費が増え、ルーティングパターンが変化すると、保持する価値のあるエキスパートも変わります。最初のリクエストで良好に動作した構成でも、数ターン後には調整が必要になる場合があります。

q-starポリシーは、キャッシュミスをGPU転送とCPU実行に分配します。簡単に言えば、PCIe帯域幅が強いマシンでは、より多くのミスをVRAMへコピーできます。一方、ホストメモリ帯域幅が相対的に強いマシンでは、より多くのミスをその場で処理できます。FreeTokenはデプロイ時にこれらの値をプロファイリングします。

FreeTokenによってローカルでのMoE提供はより利用しやすくなりますが、ソフトウェアの成熟度やハードウェアの状態には依然として敏感です。参考資料でテストされたアプリケーションはベータ版ソフトウェアとされており、ダウンロードしたすべてのモデルが正常に起動するとは限りません。

モデルが予期せず終了した場合は、基本的な確認から始めてください。モデル形式を確認し、サーバーログを調べ、使用可能なメモリを確認し、より小さく対応済みのチェックポイントをテストします。起動に失敗したからといって、GPUの性能不足だと決めつけないでください。互換性、ドライバーの挙動、ピン留めメモリ、ランタイムのサポート状況などが関係している可能性もあります。

FreeTokenの研究論文では、技術設計、評価方法、帯域幅適応型実行、セマンティック対応キャッシュ、柔軟なメモリ管理について解説されています。

FreeTokenは、システム実験として捉えると最も有効に活用できます。安定したDeepSeek-V4-Flash構成から始めて基準値を確立し、一度に1つの変数だけを変更してください。この方法により、ハードウェアの限界とモデルサポートの問題を区別しやすくなります。