FreeToken RTX 5090: 설정 가이드, 결과 및 팁

FreeToken은 새로운 AI 모델이 아니라 엣지 네이티브 추론 런타임입니다. RTX 5090에서 FreeToken의 주요 목적은 전체 전문가 풀을 GPU 메모리에 저장할 수 없는 대규모 혼합 전문가 모델을 제공하는 것입니다. 런타임은 전체 모델을 호스트 메모리에 유지하면서 GPU를 적응형 작업 캐시로 사용합니다.

이 방식이 중요한 이유는 MoE 모델이 각 토큰마다 전체 파라미터 중 일부만 활성화하기 때문입니다. 예를 들어 DeepSeek-V4-Flash는 총 2,840억 개의 파라미터와 약 130억 개의 활성 파라미터를 갖는 것으로 표시되어 있습니다. 활성 연산은 고급 GPU의 실용적인 메모리 용량에 들어갈 수 있지만, 전체 체크포인트는 여전히 다른 저장 공간에 훨씬 더 많은 메모리를 필요로 합니다.

영상 하이라이트:

• FreeToken은 모든 로컬 모델 워크로드가 아니라 VRAM을 초과하는 대규모 MoE 모델을 위해 설계되었습니다.
• 단일 RTX 5090에서 DeepSeek-V4-Flash로 초당 20토큰 이상의 속도를 기록한 것으로 보고되었습니다.
• 런타임은 전문가 캐싱, 전송과 연산의 중첩, CPU 실행을 결합합니다.
• 짧은 합성 프롬프트보다 긴 코딩 에이전트 세션에서 더 큰 차이가 나타납니다.

가속 FreeToken 경로는 현재 Linux, x86-64 시스템, NVIDIA GPU, CUDA 13 및 최신 드라이버를 중심으로 구성되어 있습니다. 프로젝트는 RTX 30·40·50 시리즈 하드웨어를 지원 대상으로 강조하며, RTX 5090은 핵심 목표 범위에 포함됩니다.

GPU는 구성의 한 부분일 뿐입니다. 전체 전문가 풀이 VRAM을 초과하는 경우, 완전한 전문가 풀은 시스템 메모리에 있어야 합니다. RTX 5090은 모델의 총 메모리 요구량을 줄이는 것이 아니라, 사용 가능한 GPU, CPU, RAM 및 PCIe 리소스가 조율되는 방식을 개선합니다.

연구 설정에서는 PCIe 대역폭과 호스트 측 전문가 처리 대역폭도 구분합니다. 이러한 값은 제품 사양만으로 추정하지 말고 실제 컴퓨터에서 측정해야 합니다.

2026년 평가에서는 수학, 코딩 에이전트, 네이티브 프로토콜 및 이메일/캘린더 워크로드에서 디코드 처리량과 첫 토큰 생성 시간을 측정합니다. 에이전트는 컨텍스트를 반복적으로 변경하고 도구를 호출하며 새로운 요청을 보내기 때문에 이는 중요합니다. 짧은 단일 프롬프트로는 동일한 프리필 및 캐시 동작을 확인할 수 없습니다.

RTX 5090에서 FreeToken은 테스트된 워크로드 전반에서 Qwen3.6-35B-A3B로 초당 약 77–83토큰, DeepSeek-V4-Flash로 초당 약 22–25토큰을 지속적으로 생성했습니다. 가장 강력한 지원 대안과 비교한 보고된 성능 향상은 모델과 시나리오에 따라 약 1.5배에서 2.3배였습니다.

RTX 5090의 결과는 모델이 GPU에서 사용 가능한 VRAM보다 클 때 가장 강력합니다. FreeToken의 공유 LRU 캐시는 토큰 사이의 라우팅 지역성을 따르며, 대역폭 정책은 캐시에서 누락된 전문가를 어떤 방식으로 제공할지 결정합니다.

평가에 따르면 테스트된 RTX 5090 제공 용량에서 FreeToken의 캐시 누락률은 **Qwen3.6 전문가 읽기의 약 16%, DeepSeek-V4-Flash 읽기의 약 39%**였습니다. 동일하게 재생된 추적 데이터에서 비교 대상 배치 방식은 더 높은 누락률을 보였습니다.

FreeToken은 메모리를 계층 구조로 구성합니다. 호스트에 상주하는 전문가 풀에는 라우팅된 전체 전문가 가중치가 저장되고, 비전문가 가중치는 GPU에 남아 있습니다. 남은 VRAM은 공유 전문가 캐시가 되며, 세션 변화에 따라 서로 다른 방식으로 분할할 수 있습니다.

프리필 중에는 메모리가 허용하는 경우 런타임이 전체 레이어 이중 버퍼링을 사용합니다. GPU가 한 레이어를 처리하는 동안 다음 레이어의 전문가는 PCIe를 통해 이동할 수 있습니다. 이를 통해 활성 연산 뒤에 전송 비용의 일부를 숨길 수 있습니다. 디코드 중에는 런타임이 공유 LRU 캐시를 사용해 최근 라우팅 결정으로 선택된 전문가를 추적합니다.

캐시 누락은 하나의 고정된 작업으로 처리되지 않습니다. FreeToken은 다음과 같은 방식으로 분할을 추정합니다.

• GPU 캐시 로드: 누락된 전문가를 PCIe를 통해 전송하고 재사용을 위해 보관합니다.
• CPU 직접 실행: 가중치가 이미 상주한 위치에서 전문가를 처리합니다.
• 동시 실행: 두 경로가 모두 현재 토큰 처리에 기여하도록 합니다.

이 분할은 측정된 호스트 대역폭과 PCIe 대역폭에 따라 달라집니다. PCIe 연결이 강력한 데스크톱은 더 많은 GPU 캐시 로드를 선호할 수 있으며, 호스트 메모리 대역폭이 더 높은 시스템은 CPU에서 직접 더 많은 작업을 수행할 수 있습니다.

런타임은 스케줄러의 안전 지점에서 동적 재구성도 지원합니다. 호스트 메모리가 계속해서 기준 저장소 역할을 하므로 GPU 캐시 용량을 변경해도 모델의 정확성이 아니라 성능에 영향을 줍니다. 브라우저, 데스크톱 애플리케이션 및 기타 GPU 워크로드로 사용 가능한 VRAM 예산이 달라질 수 있는 개인용 컴퓨터에서 유용한 기능입니다.

FreeToken은 llama.cpp, Ollama 또는 KTransformers를 모든 상황에서 대체하는 범용 도구가 아닙니다. FreeToken의 강점은 전문화에서 나옵니다. 이 프로젝트는 대규모 MoE 체크포인트, NVIDIA 가속, 호스트 상주 전문가 및 에이전트형 서비스에 초점을 맞춥니다.

Llama.cpp는 CPU, NVIDIA, AMD 및 Apple Silicon 경로를 포함해 더 폭넓은 하드웨어와 운영체제를 지원합니다. 또한 대규모 GGUF 생태계와 높은 성숙도를 갖추고 있습니다. Ollama는 접근하기 쉬운 로컬 모델 관리를 강조하며, KTransformers는 지원되는 모델 계열을 대상으로 CPU-GPU 하이브리드 실행을 지향합니다.

최적의 선택은 모델이 VRAM에 들어가는지, 그리고 워크로드가 대화형인지 에이전트형인지에 따라 달라집니다.

기술적인 세부 사항은 arXiv의 FreeToken 연구 논문과 저자들이 flashml.ai에서 참조한 프로젝트 릴리스를 확인하세요. 프로젝트가 발전함에 따라 지원 모델, 구현 변경 사항 및 배포 지침을 확인할 때 이 링크들이 가장 신뢰할 수 있는 근거를 제공합니다.