FreeToken qwen：ローカルQwen MoEセットアップガイド

FreeTokenは、大規模なMixture-of-Experts（MoE）言語モデル向けに設計されたローカル推論エンジンです。FreeToken qwen における特に注目すべき用途は、GPUメモリが限られた一般的なコンシューマーハードウェア上でQwen3.6–35Bモデルを実行することです。

従来のモデル読み込みでは、モデルの重みの大部分、またはすべてをGPUメモリに配置します。しかし、モデルの総パラメータ数が利用可能なVRAMを大幅に上回る場合、この方法は困難になります。FreeTokenは別のアプローチを採用します。重み全体をシステムRAMに保存し、アクティブなエキスパートや最近使用されたエキスパートの小規模なワーキングキャッシュをGPU上に保持します。

MoEモデルでこの方法が可能なのは、すべてのトークンに対してすべてのエキスパートを有効化するわけではないためです。ルーティングネットワークが、推論ステップごとにエキスパートの一部だけを選択します。参照されている2026年のレポートによると、Qwen3.6–35Bは総パラメータ数がはるかに多いにもかかわらず、1トークンあたり約3Bのパラメータを有効化します。

密な35Bモデルは、ランタイムのオーバーヘッドを考慮する前であっても、大量のメモリを必要とする場合があります。これに対して、参照資料ではMoEの動作が対比されています。Qwen3.6–35Bモデルは、各トークンで総パラメータのごく一部だけを有効化する可能性がありますが、非アクティブなエキスパートもどこかに保存する必要があります。

FreeTokenはストレージと実行を分離します。システムRAMが大量の重みを保存する場所として機能し、GPUメモリはより高速なキャッシュとして使用されます。ルーターが現在キャッシュされていないエキスパートを選択した場合、エンジンはそのエキスパートをPCIe経由で転送するか、関連処理をCPU経路で実行するかを判断します。

この設計が重要なのは、ルーティングの判断がトークンごとに変化するためです。固定されたオフロードポリシーは、あるマシンではうまく機能しても、別のマシンでは性能が低下する可能性があります。FreeTokenは代わりに、初回起動時にローカルハードウェアを一度プロファイリングし、測定した帯域幅の関係をスケジューリングの判断に反映します。

報告されている戦略は、ハードウェアの影響を強く受けます。高速なPCIe接続を備えたハイエンドのデスクトップGPUでは転送が有利になる可能性がありますが、8GBのノートPC向けGPUでは、より多くのキャッシュミスをCPUで処理する方が適している場合があります。メモリ帯域幅、RAM容量、PCIe世代、プロセッサ性能がすべて結果に影響するため、これらの選択をシステム間で無条件にコピーすべきではありません。

2026年に公開された情報では、大規模MoEモデルにおけるFreeTokenの複数のベンチマーク結果が報告されています。Qwenユーザーにとって最も関連性の高い結果は、8GB GPU上でQwen3.6–35Bが毎秒39.3トークンを達成したというものです。これらの数値はすべてのコンピューターで保証される結果ではなく、報告された実績として捉えてください。

性能はデコード速度だけで決まりません。インタラクティブなアプリケーションでは、定常状態の生成速度よりも初回トークンの遅延が重要になる場合があります。レポートでは、エージェントフレームワーク向けにコンテキストセグメントをチェックポイント化する仕組みが説明されています。これにより、編集のたびに変更されていない数千トークンを再計算するのではなく、以前のプリフィル処理をFreeTokenが再利用できます。

同じ情報では、ベンチマーク比較における最も遅い初回トークンの遅延が44秒未満だったと報告されています。これはllama.cppの232秒、KTransformersの946秒と比較した数値です。正確な結果はワークロードやシステム構成によって異なるため、普遍的なベンチマークではなく、最適化の目標を示す指標として利用するのが適切です。

一部の独立したテストでは、同等のQwen3.6 35B量子化セットアップが、llama.cppでFreeTokenの公称デコード速度に近い結果を示したと報告されています。この比較は重要な違いを浮き彫りにします。FreeTokenの価値は、短時間の定常デコードにおけるわずかな速度差よりも、CPU/GPUの統合スケジューリングや、エージェントで繰り返されるプリフィル処理において強く現れる可能性があります。

単一のベンチマーク数値が日常のワークロードを代表すると決めつけず、次の手順でローカルQwen MoE環境を評価してください。

最適な評価には、実際の用途を代表するワークロードを使用します。気軽なチャットでは、持続的な生成速度が優先される場合があります。コーディングエージェントでは、コンテキストの繰り返し変更や初回トークンの遅延が使用感を大きく左右する可能性があります。モデルがウォームアップした後の結果を記録しつつ、コールドスタート時の動作は別途記録しておきましょう。

FreeTokenは、目的のMoEモデルがGPUの実用的な容量を超えている一方で、システムRAMを使えば扱える場合に特に適しています。また、コンテキスト履歴を繰り返し修正するコーディングエージェントも対象としています。このような場合、チェックポイント化されたセグメントによって、単純なデコード速度のわずかな向上よりも大きな改善が得られる可能性があります。

ただし、このアプローチにはトレードオフもあります。システムRAMとGPUメモリの間でエキスパートを移動すると、帯域幅に負荷がかかります。長いプロンプトはプリフィルのコストを増加させる可能性があり、8GB GPUでは、より大容量のメモリを備えたデスクトップGPUとはCPU実行とPCIe転送のバランスが異なる場合があります。

プライバシーを重視するユーザーにとって、ローカル推論はプロンプトをリモートサービスへ送信する必要性を減らせます。しかし、ローカルで動作するからといって、すべてのワークフローが自動的に安全になるわけではありません。ローカルAPIを保護し、どのツールが接続できるかを確認し、信頼できないネットワークに推論エンドポイントを公開しないでください。

このプロジェクトはApache 2.0ライセンスでリリースされていると説明されています。最新の実装情報については、2026年8月23日に公開されたFreeToken Open Sourceの概要を参照してください。