ハードウェア要件
FreeToken ハードウェア要件
FreeToken をローカルで実行するために必要な GPU、VRAM、システム RAM、CPU の要件を説明します。8GB カードから RTX 5090 ワークステーションまでの構成を扱います。
ハードウェア要件とは？
ハードウェアガイドでは、FreeToken に必要な GPU、VRAM、システム RAM、CUDA バージョン、オペレーティングシステムについて説明します。NVIDIA RTX 30、40、50 シリーズのカードを対象とし、8GB の一般向けカードからデュアル GPU ワークステーションまで、ハードウェア容量が現実的にサービングできるモデルサイズにどう影響するかを示します。
ハードウェア要件を確認する理由は？
1
構成を計画する
購入前に、どの GPU でどのモデルサイズを実行できるかを正確に把握します
2
VRAM と RAM のバランスを取る
MoE オフロードにおいて、CPU メモリと GPU VRAM がどのように連携するかを理解します
3
高くつく失敗を避ける
スループットのボトルネックになったり、大規模モデルのロードに失敗したりする構成を避けます
注目・必須
すべてのハードウェアガイド
テクニカルガイド
FreeToken RTX 4090：セットアップガイドとベンチマークのヒント
RTX 4090クラスのハードウェア上で、FreeTokenがローカルMoE推論にどのように取り組むかを解説します。キャッシュ、帯域幅の調整、セットアップの制限、ベンチマークについて取り上げます。
ガイド
FreeToken RTX 5090：セットアップガイド、結果とヒント
FreeTokenがRTX 5090を大規模MoEモデルに活用する方法を解説します。セットアップ要件、ベンチマーク結果、キャッシュ、実用的なハードウェアのヒントを紹介します。
ガイド
FreeToken vram：ローカルMoE推論セットアップガイド
FreeTokenがローカルMoEモデルの提供において、VRAM、システムRAM、PCIe帯域幅、適応型エキスパートキャッシュをどのように活用するかを解説します。