FreeToken RTX 3090：セットアップガイドとパフォーマンスのヒント

FreeTokenはゲームやエンターテインメント作品ではなく、ローカルAIサービングシステムです。GPUメモリ、システムRAM、CPU実行、PCIe転送を組み合わせることで、大規模なオープンウェイトのMixture-of-Expertsモデルを一般向けハードウェアでより実用的に動作させることを目的としています。

RTX 3090は24 GBのVRAMを搭載しています。これは多くの小規模なローカルモデルには十分ですが、DeepSeek V4 Flashのようなモデルのエキスパートプール全体を保持するには不十分です。FreeTokenは、すべてのエキスパートの重みをホストメモリに保持し、GPUを頻繁にルーティングされるエキスパートの伸縮可能なキャッシュとして使用することで、この制限に対応します。

その結果、次のようなハイブリッドワークフローが実現します。

• エキスパート以外のモデル重みはGPU上に保持されます。
• エキスパートプール全体はシステムメモリに格納されます。
• 頻繁に使用されるエキスパートはVRAMにキャッシュされます。
• 不足しているエキスパートはGPUへ転送するか、CPU上で処理できます。
• ランタイムは、測定されたPCIe帯域幅とホストメモリ帯域幅に応じて動作を調整します。

この設計により、FreeToken RTX 3090の組み合わせは、より大容量のGPUやホスト型APIがなければ実行が難しいモデルを試すための有用な環境になります。

参考資料： FreeTokenの研究論文では、帯域幅適応型の実行モデル、伸縮可能なエキスパートキャッシュ、エッジ向けサービング設計について説明されています。

動画のハイライト：

• 1枚のRTX 3090で、システムメモリへのオフロードを使用してDeepSeek V4 Flashを実行。
• サーバー側のテストで毎秒約10～11トークンを達成。
• 同等条件のデスクトップクライアントでは毎秒約8.8トークンを測定。
• Open WebUIを介したブラウザベースのチャットインターフェースを使用。
• メモリ容量と帯域幅が使用感に大きな影響を与えました。

RTX 3090はシステムの一要素にすぎません。FreeTokenで扱えるモデルの規模は、使用可能なシステムRAM、ホストメモリの帯域幅、ストレージ速度、そして他のアプリケーションがリソースを使用した後に利用できるVRAM容量に大きく左右されます。

実用的な開始点はシステムメモリ32 GBですが、より大規模なMoE実験には64 GBのほうが余裕があります。参考テストでは、より大きなホスト常駐エキスパートプールを必要とするモデルのために、これを大幅に上回るRAMを搭載したシステムも検証されました。GPU自体があまり使用されていないように見えても、FreeTokenは使用可能なRAMとVRAMを合わせて評価するため、モデルがメモリ不足と報告する場合があります。

メモリ帯域幅も重要です。参考資料では、デュアルチャネルDDR4およびDDR5システムが比較されており、一般的にDDR5のほうが高いホスト帯域幅を提供します。ただし、FreeTokenは実際に展開されたマシンの転送性能とCPU処理動作を測定するため、仕様だけでパフォーマンスが決まるわけではありません。

モデルを起動する前に、次の項目を確認してください。

• OSとバックグラウンドアプリケーションを考慮した後の使用可能なシステムRAM。
• RTX 3090の空きVRAM。
• PCIeリンクの幅と世代。
• RAMのチャネル構成と実効メモリ速度。
• モデルファイルと変換済み重みに必要なNVMe容量。
• 長時間推論時のCPU温度および電力制限。

このワークフローを使って、最初のテストをクリーンな状態で準備してください。プロジェクトの進展に伴って利用可能なパッケージやインターフェースが変わる可能性があるため、インストール前に最新リリースの手順を確認してください。

負荷をかけすぎた実行よりも、クリーンな初回実行のほうが有用です。すでにメモリ予算の限界に近いモデルから始めると、初期の失敗がソフトウェアの欠陥ではなく、メモリ割り当ての圧迫によって引き起こされる可能性があります。

パフォーマンスは、モデルアーキテクチャ、量子化、プロンプトの長さ、アクティブなエキスパート、RAM速度、PCIeの動作、そしてランタイムをサーバーアプリケーションとして実行するかデスクトップアプリケーションとして実行するかによって変わります。そのため、利用可能なRTX 3090のテスト結果は、保証された仕様ではなく、実用上の参考値として扱ってください。

あるサーバー側のテストでは、単一のRTX 3090上でDeepSeek V4 Flashが毎秒10～11トークンを生成しました。同等の構成でデスクトップクライアントは毎秒8.8トークンを測定しました。この差から、インターフェースやランタイムの経路がスループットに影響することが分かりますが、正確な結果はOSやシステム構成によって異なります。

モデルがVRAM容量を超えているにもかかわらず、デコード速度を実用的な水準に維持できる理由は、論文で説明されている設計にあります。FreeTokenは共有LRUエキスパートキャッシュを維持し、最近ルーティングされたエキスパートをGPU上に残せるようにします。キャッシュミスが発生した場合、ランタイムは測定された帯域幅に基づき、PCIeによるキャッシュへの補充とCPUでの直接実行の分担を計算します。

次のような要因によって結果が低下する可能性があります。

• OBSやその他のGPUエンコード処理が使用可能なメモリに影響する場合があります。
• ブラウザのタブやデスクトップアプリケーションがVRAMを消費する可能性があります。
• 低速なRAMやシングルチャネルRAMは、CPU側のエキスパート処理を制約する可能性があります。
• 長いプロンプトはプリフィル処理とコンテキスト管理のコストを増加させます。
• 密なモデルは、疎なMoEモデルとは異なる動作をする可能性があります。
• ベータ版ソフトウェアの問題により、モデル固有の起動失敗やエンジンエラーが発生する場合があります。

FreeTokenのハイブリッド設計では、GPUだけで動作するローカルモデルよりも多くの変数が発生します。高度なランタイム設定を変更する前に、まずメモリと実行環境を確認してトラブルシューティングを始めてください。

モデルの起動に失敗した場合は、まず競合するメモリ使用量を減らしてください。モデル固有のエンジンエラーが発生しても、必ずしもRTX 3090が故障しているとは限りません。参考テストでは、同じ一般的な構成でも、密なBF16モデルは失敗し、別のMoEモデルは正常に読み込めるケースが確認されています。

生成速度が予想より遅い場合は、ホストメモリの帯域幅とCPUの使用状況を調べてください。GPUキャッシュが小さい場合やルーティングパターンが変化した場合、FreeTokenはより多くのキャッシュミスをCPUで処理する必要が生じることがあります。RAM容量を増やすと互換性が向上し、高速なメモリやより強力なプラットフォームを使用すると、ホスト常駐エキスパートの処理速度を改善できる可能性があります。

FreeTokenのプロジェクト説明と論文では、このシステムをプロジェクトの公式チャンネルを通じて公開された研究志向のソフトウェアとして位置付けています。リリース情報、対応モデル、プラットフォームの更新については、flashml.aiの最新プロジェクトページを確認してください。