FreeToken pip：セットアップガイドとランタイム概要

FreeTokenは、最先端規模の**Mixture-of-Experts（MoE）**モデル向けのエッジネイティブなサービングシステムです。「FreeToken pip」という言葉は、Pythonパッケージやpipインストールコマンド、パッケージインデックスのエントリを探していることを示す場合があります。しかし、入手可能な2026年の技術文書が説明しているのはシステムアーキテクチャであり、プロジェクトがflashml.aiを通じてリリースされていることは報告されていますが、確認済みのPyPIパッケージ名、バージョン番号、pip installコマンドは記載されていません。

この違いは重要です。FreeTokenは、小規模なPythonユーティリティではなく、高性能な推論ランタイムとして位置付けられています。MoEモデルがリクエストを処理している間、GPUメモリ、CPUメモリ、PCIe帯域幅、ディスクからの読み込み、エキスパートのルーティング、KVキャッシュの動作を連携させることが役割です。

FreeTokenの中心的な目標は、オープンモデルの重みを入手することと、実際に実行することの間にある隔たりを縮めることです。オープンな重みが技術的に利用可能でも、大規模なGPUクラスターが必要になる場合があります。FreeTokenは、GPU、CPU、ホストメモリ、ストレージ、インターコネクトで構成された個人用コンピューターを、統合された推論プラットフォームとして扱うことでこの問題に対応します。

一般的なローカル推論エンジンでは、モデルの読み込み時にモデル層やエキスパートを静的に配置することがあります。一方、FreeTokenはGPUメモリ上に共有型で伸縮可能なエキスパートキャッシュを使用します。ルーティング対象となる完全なエキスパートプールは正しい状態の基準としてホストメモリに保持され、GPUには現在のワークロードで最も有用なエキスパートが保持されます。

この設計は、MoEモデルにおいて特に重要です。各トークンはエキスパートの一部だけをアクティブ化するため、総パラメータ数が同じ密モデルと比べて計算量を削減できます。しかし、非アクティブなエキスパートもストレージを占有します。そのためFreeTokenは、モデル容量と高速な常駐性を分離します。完全なモデルをCPUメモリに保持しながら、GPUキャッシュがアクティブなワーキングセットを追跡できます。

Prefillでは、最初のトークンを生成する前にシステムがプロンプトを処理します。この段階ではほぼ完全なエキスパートセットにアクセスする可能性があるため、エキスパートの移動が最初のトークンまでのレイテンシーの主要因になります。FreeTokenは可能な場合、2つの完全な層バッファを使用します。一方の層をGPUで計算している間に、次の層のエキスパートをPCIe経由で転送します。

Decodeでは、新しい各トークンに対して少数のエキスパートだけが選択されます。一部はすでにGPUキャッシュに存在し、その他はキャッシュミスになります。FreeTokenは、次の2つの測定値から目標補充数を計算します。

• Pinned転送帯域幅：PCIe経由でエキスパートを移動する帯域幅を表します。
• ホスト側処理帯域幅：ホストメモリからCPUで実行する際の帯域幅を表します。

論文で (q^\star) と表されるこのポリシーは、キャッシュへの補充とCPUでの直接実行のバランスを取ります。これにより、すべてのミスを転送として扱ったり、すべてのミスをCPUタスクとして扱ったりすることを避けられます。

FreeTokenは、異なる2つの推論フェーズを中心に構築されています。PrefillとDecodeではマシンにかかる負荷が異なるため、両方に同じ戦略を使うと性能を十分に引き出せません。

Prefillで最も効果的な原則は、処理の重ね合わせです。利用可能なキャッシュ予算で必要なバッファを保持できる場合、GPUが計算している間にエキスパート転送を行うべきです。スロットプールに2つの完全な層を確保できない場合、ランタイムはメモリを過剰に割り当てるのではなく、オンデマンド読み込みにフォールバックできます。

Decodeでは、局所性がより重要になります。連続するトークンは重複するエキスパートにルーティングされることが多いため、共有の最長未使用（LRU）キャッシュによって、生成ステップ間で有用なエキスパートを保持できます。キャッシュヒット時は転送を回避し、GPU上で直接実行できます。ミスが発生した場合は、帯域幅のバランスに応じてキャッシュスロットを補充するか、CPUで実行できます。

エージェント型ワークロードでは、さらに複雑さが加わります。ツール呼び出し、思考セグメント、編集された会話ブロックによって、サービングシステムが長いプレフィックスを再計算することがあります。FreeTokenは意味的な境界にチェックポイントを配置するため、編集後も残っているプレフィックスを再利用できます。これは、任意のトークン位置だけにチェックポイントを置く方式よりも、マルチターンエージェントに適しています。

入手可能な文書ではPyPIパッケージが確認されていないため、セットアップは想定したpipコマンドではなく、リリースの確認から始めるべきです。freetokenという名前のパッケージは、無関係なもの、非公式なもの、または利用できないものである可能性があります。現在の配布物がソースコード、バイナリランタイム、コンテナ、またはネイティブコンポーネント用のPythonラッパーのいずれであるかを判断するには、プロジェクトの公式リリース情報を使用してください。

今後のインストールページを評価する際は、次のチェックリストを使用してください。

論文の実装詳細からは、本番環境への展開にPython依存関係以外の要素も関わる可能性が示されています。FreeTokenはモデルチェックポイントをエキスパートバンクへ正規化し、ランタイムで扱いやすいレイアウトに重みを保存するためのFreeToken Weight形式、つまりFTWを導入しています。そのため、正常なセットアップには、モデル変換、アラインされたストレージ、Pinnedメモリ、SIMDサポート、CUDA互換カーネルなどが必要になる場合があります。

実際のセットアップ調査では、次の質問に答えられるようにしてください。

• リリースにはビルド済みのFTWモデルが含まれていますか。それともユーザーがチェックポイントを変換する必要がありますか。
• 対象のオペレーティングシステムとドライバーで、高速なPinnedメモリパスを利用できますか。
• 選択したエキスパート表現をサポートするGPUカーネルはどれですか。
• DMA登録が利用できない場合、CPU MoEフォールバックバックエンドが適用されますか。
• ランタイムはモデルの読み込み、サービング、キャッシュ設定をどのように公開しますか。

FreeTokenについて説明されている評価は、コンシューマー向けGPU、ノートPCクラスのRTX 4060システム、デスクトップ向けRTX 3090/4090/5090システム、ワークステーション向けRTX PRO 6000 Blackwellに及びます。報告された結果からは、ホスト帯域幅とPCIeの挙動が最適な実行構成に大きく影響することが分かります。

評価されたシステムでは、完全なエキスパートプールがGPUメモリ容量を超えるモデルでも、FreeTokenがサービングできることが示されています。報告された例には、Qwen3.6-35B-A3B、DeepSeek-V4-Flash、最先端規模のGLM-5.2デモンストレーションが含まれます。これらの結果は、すべての構成で保証される性能ではなく、評価時点での結果として扱ってください。モデルの量子化、カーネルの対応状況、メモリレイアウト、オペレーティングシステムの挙動、ワークロードの形状によって結果は変わる可能性があります。

最新のリリース状況については、FreeTokenプロジェクトページと2026年のFreeToken研究論文を参照してください。pipパッケージ、ソースリポジトリ、ビルド済みランタイム、モデル変換ツールのいずれが公開されているかを確認するには、これらが適切な情報源です。