FreeToken 753bモデル：セットアップガイドとMoEチューニングのヒント

FreeTokenは、非常に大規模なオープンウェイトのMixture-of-Expertsモデルを個人のマシンで実用的に動作させるために設計された、エッジネイティブなサービングエンジンです。重要なのは、FreeToken自体が753Bモデルではないという点です。FreeTokenは、約7,530億パラメーターを持つと説明されているモデル GLM-5.2 を、1台のワークステーションGPU上で提供するランタイムです。

このシステムは、コンピューター全体を柔軟な推論プラットフォームとして扱います。すべてのモデルテンソルをVRAMに保持する前提ではなく、GPUメモリ、CPUメモリ、ホストストレージ、PCIe帯域幅、CPUの実行能力を連携させます。

動画のハイライト：

• FreeTokenは、1台のワークステーションGPU上で、約400億のアクティブパラメーターを持つGLM-5.2を提供します。
• ランタイムは、ポート1919でOpenAI互換およびAnthropic互換のエンドポイントを公開します。
• Mixture-of-Expertsのスパース性により、各トークンに必要な計算量を削減します。
• 共有キャッシュとホストメモリページングシステムにより、デコード時のキャッシュミスを減らします。

MoEモデルでは、総パラメーター数が、個々のトークンで使用されるパラメーター数を大きく上回る場合があります。たとえばDeepSeek-V4-Flashは、43層にわたって256個のエキスパートのうち6個を各トークンにルーティングします。つまり、1つのトークン計算には約13Bパラメーターが参加し、非アクティブなエキスパートはより大きなモデルプール内で利用可能な状態に保たれます。

FreeTokenは、汎用的なCPUのみのデプロイではなく、互換性のあるNVIDIAシステムを対象としています。ドキュメントで示されているコマンドラインの対象環境は、NVIDIA GPU、R580以降のドライバー、CUDA 13を備えたLinux x86-64です。また、FlashMLを通じて、WindowsとLinux向けのワンクリックデスクトップアプリも利用できます。

PyPIパッケージはfreetokenとして公開されており、参照されているリリースはバージョン0.1.2です。一般的なアクセラレーション対応インストールでは、次のコマンドを使用します。

uv pip install "freetoken[accel]"

実際に得られる性能は、GPUの世代、ドライバー、メモリ容量、PCIeリンク、ホストメモリ帯域幅、モデル形式、そして使用する構成向けのNVFP4またはMXFP4ビルドが利用できるかどうかによって異なります。

中心となる課題は、大規模モデルを保存することだけではありません。適切なエキスパートを、適切なタイミングで、適切な実行場所へ移動することも重要です。トークンごとにルーティングが変わるため、従来の静的な配置は非効率になる場合があります。あるリクエストではほとんど使われなかったエキスパートが、次のデコードステップでは重要になることもあります。

FreeTokenは、関連する3つの仕組みによってこの問題に対処します。

1つ目は、帯域幅適応型実行です。PCIe経由で処理すべき量と、CPU上に残すべき量を推定します。システムはホストメモリ帯域幅とPCIe帯域幅をプロファイルし、その結果を使ってキャッシュミスを分割します。これは、固定的な「GPU優先」または「CPUフォールバック」ルールよりも柔軟です。

2つ目は、セマンティック対応キャッシュです。エージェントワークロードにとって意味のあるコンテキスト境界を使用します。チェックポイントは、思考ブロック、ツール呼び出し、ツール出力に合わせて設定できます。エージェントが会話の末尾を編集した場合、ランタイムは以前の処理をすべて繰り返すのではなく、変更された末尾部分だけをプリフィルすればよい場合があります。

3つ目は、柔軟なメモリ管理です。VRAM予算を変更したうえで、安全なスケジューラーポイントにおいてGPUエキスパートキャッシュを再構築できます。完全なエンジン再起動やGPU全体のウォームアップを必要とせず、エキスパートを最終的なホストレイアウトへ読み込めます。

同じキャッシュ容量で比較した場合、引用された評価では、グローバルLRU戦略によるQwen3.6プールのデコード時エキスパート読み込みミス率は16%でした。これに対し、KTransformersは41%、llama.cppは62%でした。これらの数値は特定のテスト環境におけるものですが、エージェント型デコードでグローバルなルーティング認識が重要である理由を示しています。

報告された結果から、FreeTokenはオフラインのバッチ処理だけでなく、インタラクティブなローカル推論を目的としていることが分かります。RTX 5090では、ランタイムはBF16のQwen3.6-35B-A3Bで毎秒77～83トークン、MXFP4のDeepSeek-V4-Flashで毎秒22～25トークンを持続的に処理しました。

8GBのRTX 4060ノートPCでは、NVFP4ビルドにより35Bモデルを毎秒39.3トークンで提供しました。RTX PRO 6000では、約400億のアクティブパラメーターを持つGLM-5.2が毎秒14.9トークンに達し、引用されたテストにおけるllama.cppの毎秒7.3トークンを上回りました。

同じ評価では、テストマトリクス全体における最悪時の初回トークン生成時間は44秒未満でした。一部のケースでは、ベースラインエンジンのテール値がより高く、llama.cppは232秒、Ollamaは179秒、KTransformersは946秒に達しました。エージェントクライアントでは、起動の遅延が長いとタイムアウトにつながる可能性があるため、これらは有用な比較材料です。ただし、普遍的なベンチマークとして解釈すべきではありません。

信頼性の高いFreeTokenのデプロイは、推測ではなく測定から始まります。マシンのプロファイルを確認し、互換性のあるモデル形式を選択してから、完全なエージェントスタックを接続する前に短いリクエストをテストしてください。

エンドポイントを準備完了と判断する前に、次のチェックリストを使用してください。

コーディングアシスタントでは、まず控えめなコンテキストと1回のツール呼び出しから始めてください。初回トークンのレイテンシー、デコード速度、ホストメモリ使用量、GPU使用率を観察します。GPUがアイドル状態である一方、CPUとメモリバスが飽和している場合、問題はモデル計算能力の不足ではなく、転送帯域幅またはホスト実行帯域幅にある可能性があります。

FreeTokenは、ドキュメントに記載された起動ワークフローを通じて、Claude Code、Codex、OpenCode、OpenClawにも接続できます。特にエンドポイントがローカルマシンの外部からアクセス可能な場合は、ツールを有効にする際の権限を最小限に保ってください。

以下の回答では、2026年にローカルで753Bクラスのモデルを提供することを検討する開発者にとって、特に重要な実用上のポイントをまとめています。

技術的な背景について詳しく知りたい場合は、MarkTechPostが公開したFreeToken 753B GLM-5.2分析記事を参照してください。この記事では、サービングアーキテクチャ、報告されたベンチマーク、インストールの詳細、デプロイ上の制限について解説しています。