FreeToken single gpu：ローカルAIセットアップガイド

FreeTokenはゲームや従来型のデスクトップユーティリティではなく、エッジネイティブなモデルサービングエンジンです。主な目的は、大規模なMixture-of-Experts、つまりMoEモデルを個人用ワークステーションでより実用的に動かせるようにすることです。FreeToken single gpu 構成では、モデル全体をVRAM内に配置しません。その代わりに、GPU、CPU、システムメモリ、ストレージ、インターコネクトを、1つの柔軟な推論プラットフォームとして扱います。

この設計が重要なのは、現代のオープンウェイトモデルでは総パラメータ数が非常に大きくても、各トークンで有効になるエキスパートはその一部に限られる場合があるためです。たとえばDeepSeek-V4-Flashは、284Bパラメータで、トークンごとのアクティブパラメータ数が13BのMoEモデルと説明されています。低精度化されたエキスパートプール全体でも、およそ140 GBが必要になる場合があるため、ホストメモリは構成上の重要な要素です。

動画のハイライト：

• FreeTokenとGeForce RTX 3090を使ったシングルGPUテスト
• システムRAMとGPUオフロードを通じて動作するDeepSeek-V4-Flash
• トークン生成速度をリアルタイムで確認するデスクトップおよびLinuxでのデプロイ例
• メモリ容量、帯域幅、ベータ版ソフトウェアの挙動に関する実用的な注意点

FreeTokenで最も重要な要件は、モデルのアクティブパラメータ数だけではありません。MoEモデルでは、各トークンで一部のエキスパートしか使われない場合でも、エキスパートプール全体にアクセスする必要があります。FreeTokenはこのプールを動的に管理しますが、ワークステーション側には十分な使用可能RAM、VRAM、帯域幅が必要です。

実用的な出発点は 32 GBのシステムメモリ ですが、大規模モデルを扱う場合は64 GBの方が余裕のある基準となります。テスト資料によると、96 GB、128 GB、それ以上の容量では選択肢がさらに広がります。一方で、大規模な構成によっては大幅に多くのメモリが必要になる場合があります。FreeTokenは使用可能なシステムメモリとVRAMを合算して評価するため、GPUに空きVRAMがあっても、モデルがメモリ不足を報告することがあります。

メモリ速度も性能に影響します。テスト資料ではDDR4の速度を比較し、メモリが遅いと利用可能な帯域幅が低下する可能性があると説明しています。対応システムではDDR5が大きな利点をもたらす場合がありますが、改善幅はCPU、メモリ構成、PCIe世代、GPU、ワークロードによって異なります。

FreeTokenは、デスクトップアプリケーションまたはLinuxのコマンドラインワークフローでデプロイできます。利用可能な参考資料では、WindowsおよびLinux向けのデスクトップ配布版、Arch Linuxパッケージ、Linux AppImage、PyPIによるインストール方法が説明されています。Linuxユーザーは、開始前に現在のドライバーとCUDA要件を確認してください。

Web上の資料では、NVIDIA Linux向けの目標環境としてドライバーr580以降とCUDA 13が挙げられています。一方、デスクトップ版は初期セットアップを簡単にすることを目的としています。これらの要件は2026年リリース時点でのデプロイ指針として扱い、選択したビルドとの互換性を確認してください。

ドキュメントに記載されたサーバーワークフローでは、ポート 1919 でOpenAI互換およびAnthropic互換のエンドポイントを公開します。これによりFreeTokenは単独のチャットウィンドウにとどまらず、コーディングアシスタント、エージェントツール、Webインターフェース向けのローカルバックエンドとして利用できます。

シングルGPUの性能は、モデル、量子化、メモリレイアウト、ワークステーションの設計によって大きく変わります。報告された結果は保証値ではなく、参考値として扱ってください。サーバー側のRTX 3090テストでは、ある構成においてDeepSeek-V4-Flashが約 毎秒10～11トークン で動作しました。同様のハードウェアを使ったデスクトップクライアントのテストでは約 毎秒8.8トークン に達しており、インターフェースとランタイム経路が結果に影響することが分かります。

別の2026年の報告では、RTX 5090構成でDeepSeek-V4-Flashが 毎秒22～25トークン でした。同じ報告では、RTX 5090上のQwen3.6-35B-A3Bが 毎秒77～83トークン、8 GBのRTX 4060ラップトップ上の35B NVFP4ビルドが 毎秒39.3トークン とされています。これらは異なるモデルとシステムでの数値であるため、普遍的な順位として比較すべきではありません。

FreeTokenの方式では、帯域幅適応型実行、セマンティック対応キャッシュ、柔軟なメモリ管理を使用します。ランタイムは、起動時に選択した固定配置だけに依存せず、エキスパート処理をGPU転送とCPU実行に分割できます。共有LRUキャッシュはMoEレイヤー全体のルーティング挙動を追跡し、安全なポイントで再構築することで、エンジンを再起動せずにGPUキャッシュを変更できます。

最も有効な最適化の対象は次のとおりです。

• RAM帯域幅を向上させる：より高速なメモリと適切に構成されたメモリチャネルにより、ホスト側の処理を改善できます。
• 競合するGPUタスクを減らす：エンコード、録画、レンダリング、その他のワークロードによって、利用可能なVRAMが減少する可能性があります。
• 適切な量子化を使用する：低精度ビルドによって大規模モデルを実用的にできる場合がありますが、品質と互換性は異なります。
• 現実的なプロンプトをテストする：短いプロンプトではプリフィルのコストが見えにくい一方、長いコンテキストでは転送とキャッシュの挙動が明らかになります。
• サーバー経路とデスクトップ経路を比較する：同じモデルでも、クライアントとランタイム層によって結果が異なる場合があります。

テスト資料ではFreeTokenはベータ版ソフトウェアと説明されているため、一部の失敗はハードウェアの故障ではなく、モデルのサポート状況やランタイム統合に起因する可能性があります。実際にQwen 3.8 27B BF16を実行した際に予期せず終了した例があり、一般的なインストールの成功とは別に、モデルの互換性をテストする必要性が示されています。

ハードウェアを変更する前に、以下のチェックリストを使用してください。

信頼性の高いトラブルシューティングを行うには、一度に1つの変数だけを変更してください。まずモデルが動作することを確認し、次に速度を測定し、その後でコンテキスト長や推論設定を調整します。モデル、クライアント、量子化、メモリ割り当てを同時に変更すると、結果の解釈が難しくなります。

FreeTokenのデプロイ概要では、エンジンのApache-2.0リリース、PyPIパッケージ、互換エンドポイント、適応型MoEの仕組みについて、さらに詳しく説明しています。

FreeToken single gpuワークステーションは、マルチGPUサーバーを構築せずに大規模なオープンウェイトモデルへローカルアクセスしたい開発者、研究者、愛好家に適しています。特に、プライベートなコーディング支援、ローカルでの実験、エージェントワークフロー、MoE推論戦略のテストに役立ちます。