FreeToken app：ローカルMoE推論のセットアップガイド

FreeToken app は、コンシューマー向けハードウェアで大規模なオープンウェイトMixture-of-Expertsモデルを実行するために設計された、ローカル推論インターフェースおよびエンジンです。モデル全体をGPUメモリに収める必要がある従来の方式とは異なり、GPU、CPU、システムRAM、PCIe接続を1つの柔軟な実行プラットフォームとして連携させます。

FreeTokenは、モデルが利用可能なVRAMには大きすぎる一方で、コンピューターの他のリソースを使えば実用的に動作する場合に特に有効です。デスクトップアプリケーションでは、互換性のあるモデルの確認、会話の開始、エンジン設定の調整をグラフィカルに行えます。コマンドライン版は、開発やベンチマークのワークフローに適した、より細かな制御を提供します。

動画のハイライト：

• FreeTokenは、特定のMoEワークロードにおいて、Ollamaやllama.cppなどのツールに代わる選択肢として位置付けられています。
• エンジンは、モデルのレイヤーを1つのデバイスに恒久的に割り当てるのではなく、GPUエキスパートキャッシュを使用します。
• Q-starスケジューリングは、不足しているエキスパートをGPUへ転送するか、CPU上で実行するかを決定します。
• ダブルバッファリングされたprefillにより、計算とエキスパート転送をオーバーラップさせます。
• パフォーマンスは、VRAM容量、PCIe帯域幅、RAM速度、モデル形式に大きく左右されます。

このプロジェクトは、Apache License 2.0のオープンソースプロジェクトとして維持されています。公式ドキュメントとインストールリソースは、FreeToken GitHubリポジトリから利用できます。

Mixture-of-Expertsモデルには、数千億規模の総パラメーターが含まれていながら、各トークンではその一部だけをアクティブ化するものがあります。このスパース性により計算量は削減できますが、メモリの課題がなくなるわけではありません。完全なモデルは、どこかに保持しておく必要があります。

FreeTokenは、GPUメモリをアクティブなエキスパートキャッシュとして扱います。システムRAMは完全なモデルの基準データとして維持され、頻繁に要求されるエキスパートはGPUの近くに保持されます。ルーターは近接するトークン間で同じエキスパートを再利用することが多いため、比較的小さなホットセットでもワークロードの大部分に対応できます。

プロンプト処理、いわゆるprefillでは、長い入力によって広範囲のエキスパートが使用される場合があります。FreeTokenは、各転送が完了するまで処理を待つのではなく、データ移動と計算をオーバーラップさせることでこの問題に対処します。

生成中、エンジンはキャッシュミスを処理する必要があります。あるシステムではPCIe経由でエキスパートを取得するほうが有利な場合がありますが、別のシステムではCPUで直接計算するほうが適していることもあります。Q-starポリシーは、RAMとPCIeの帯域幅のローカルなバランスを測定し、現在のワークロードに適した分割方法を選択します。

エンジンには、再帰状態とキー・バリューキャッシュ用のセマンティックアンカーチェックポイントも含まれています。これらは、ツール呼び出しや思考ブロックを通じてエージェント型ワークフローがコンテキストを編集する際に、冗長なコンテキスト再計算を削減することを目的としています。

公式プロジェクトは、WindowsおよびLinux向けのデスクトップアプリに加えて、PythonベースのCLIインストールをサポートしています。ランタイムをどのように使用するかに応じて、適切な方法を選択してください。

デスクトップアプリは現在、WindowsおよびLinux向けに提供されています。ローカルシステムで実行可能と思われるモデルを表示できますが、現在のワークフローでは、コーディングに特化した統合環境と同じプロジェクトフォルダー操作やファイル変更機能を提供できない場合があります。

最も重要な判断は、モデルがGPUメモリに無理なく収まるかどうかです。収まる場合は、FreeTokenのストリーミングとスケジューリングのオーバーヘッドを避けられるため、従来のGPU常駐型セットアップのほうが高速な可能性があります。モデルがVRAMを超える場合、FreeTokenは必要なエキスパートだけを移動させながら、計算処理をGPU上で維持できます。

あるワークステーションの比較結果は、この違いを示しています。32 GB GPU上で約38 GBと推定された8-bit Qwenモデルの場合、レイヤー分割構成は毎秒約58トークンに達した一方、FreeTokenは同じコーディングタスクで毎秒約132トークンに達しました。タスクの所要時間は、それぞれ約14分20秒と4分40秒でした。

同じ比較では、32 GBのVRAM内に収まる4-bit版で異なる結果が示されました。GPUに完全常駐させた構成は毎秒約240トークンに達した一方、FreeTokenは毎秒約225トークンでした。これらの数値はハードウェアやワークロードに固有のものであり、普遍的な目標値ではありません。

FreeTokenは、サーバーの稼働中にGPUエキスパートキャッシュのサイズを変更する機能もサポートしています。引用されたテストでは、キャッシュを58%から40%に減らしても速度低下はわずかでしたが、およそ20%未満にするとPCIeトラフィックが飽和し、低下幅が大きくなりました。

大規模なローカルモデルを評価する前に、このチェックリストを使用してください。利用可能な最大のモデルが最適な選択だと仮定するのではなく、互換性と測定に重点を置いています。