FreeToken 양자화: MoE 추론 설정 가이드

FreeToken은 새로운 언어 모델이나 독립적인 양자화 알고리즘이 아니라 엣지 네이티브 추론 엔진입니다. FreeToken 양자화의 맥락에서 중요한 점은 전체 mixture-of-experts 모델이 사용 가능한 VRAM을 초과할 때 런타임이 지원되는 저정밀도 체크포인트를 어떻게 서비스하는가입니다.

mixture-of-experts 모델은 대규모 전문가 풀을 저장하지만 각 토큰을 제한된 수의 전문가에게만 라우팅합니다. DeepSeek-V4-Flash는 총 2,840억 개의 파라미터를 보유하며 토큰당 약 130억 개가 활성화되는 것으로 설명됩니다. 이러한 희소 활성화는 로컬 실행을 더욱 실용적으로 만들지만, 전체 전문가 풀은 여전히 상당한 메모리 및 데이터 전송 문제를 야기합니다.

이 논문은 FreeToken이 여러 모델 계열과 정밀도 형식을 지원한다고 설명합니다. 평가에는 네이티브 MXFP4 양자화가 적용된 DeepSeek-V4-Flash 체크포인트, 8GB 노트북 구성용 NVFP4 릴리스, 그리고 BF16 형식의 Qwen3.6-35B-A3B가 포함됩니다. 이는 “양자화 지원”이 범용 변환 규칙이 아니라 특정 모델 체크포인트와 런타임 경로에 따라 달라진다는 의미입니다.

영상 하이라이트:

• FreeToken은 GPU 메모리를 초과하는 대규모 MoE 모델을 위해 설계되었습니다.
• 적응형 전문가 캐싱은 자주 라우팅되는 전문가를 VRAM에 유지합니다.
• 캐시 미스가 발생하면 CPU 실행과 PCIe 전송을 함께 활용할 수 있습니다.
• 장시간 코딩 에이전트 세션은 주요 대상 워크로드입니다.

FreeToken은 2단계 전문가 메모리 계층을 중심으로 추론을 구성합니다. 호스트 시스템은 라우팅된 전문가 풀 전체를 보관하고, 비전문가 가중치는 GPU에 유지됩니다. 이후 사용 가능한 VRAM은 MoE 레이어 전체에서 공유되는 탄력적인 전문가 캐시로 사용됩니다.

이 구조는 양자화의 역할을 바꿉니다. 저정밀도 가중치는 호스트에 상주하는 모델의 크기와 전송량을 줄이지만, 런타임은 어떤 전문가를 VRAM에 둘지, 누락된 전문가 중 어떤 것을 전송할지, 어떤 전문가를 CPU에서 직접 실행할 수 있을지를 여전히 결정해야 합니다.

프리필 중 충분한 캐시 용량을 사용할 수 있으면 FreeToken은 전체 레이어 이중 버퍼링을 사용합니다. GPU가 한 레이어를 계산하는 동안 다음 레이어의 전문가가 PCIe를 통해 스트리밍될 수 있습니다. 이를 통해 데이터 이동과 계산을 겹치게 하여 각 전송이 별도의 GPU 유휴 시간으로 노출되는 것을 방지합니다.

디코드 중에는 라우팅이 더욱 세분화됩니다. 런타임은 최근 선택된 전문가를 기반으로 공유 LRU 캐시를 유지합니다. 캐시 히트는 GPU에서 실행됩니다. 캐시 미스는 측정된 호스트 및 전송 대역폭에 따라 PCIe를 통해 캐시에 추가하거나 CPU에서 직접 실행할 수 있습니다.

대역폭 적응형 정책은 이 설계의 핵심입니다. 빠른 PCIe 연결은 누락된 전문가를 더 많이 전송하는 방식을 선호할 수 있으며, 호스트 메모리 대역폭이 더 강하면 CPU에서 직접 실행하는 방식이 더 유리할 수 있습니다. 이 결정은 고정된 하드웨어 프로필을 그대로 적용하지 않고 실제 배포된 시스템에 맞춰 내려집니다.

현재 FreeToken의 문서화된 가속 설정은 특정 환경에 맞춰져 있습니다. 제공된 자료에 설명된 명령줄 경로에는 x86-64 컴퓨터의 Linux, NVIDIA GPU, CUDA 13 및 최신 드라이버가 필요합니다. 프로젝트는 RTX 30, RTX 40 및 RTX 50 시리즈 하드웨어를 강조합니다.

공개된 평가에 따르면 RTX 5090 구성에서 Qwen3.6-35B-A3B는 초당 7783토큰, DeepSeek-V4-Flash는 초당 2225토큰을 기록했습니다. VRAM 8GB와 시스템 메모리 32GB를 갖춘 RTX 4060 노트북에서는 공식 NVFP4 Qwen 구성으로 초당 39.3토큰에 도달했습니다.

별도의 워크스테이션 결과에서는 7,530억 개 파라미터 모델로 설명된 GLM-5.2를 단일 RTX PRO 6000에서 초당 14.9토큰으로 서비스했습니다. 이러한 수치는 특정 체크포인트, 하드웨어, 워크로드 및 정밀도 형식에 종속됩니다. 따라서 보편적인 성능 보장이 아니라 참고 수치로 받아들여야 합니다.

가장 강력한 사용 사례는 VRAM에는 들어가지 않지만 시스템 메모리에서는 관리 가능한 모델입니다. 양자화된 모델이 GPU 내부에 완전히 들어간다면 범용 런타임도 이미 뛰어난 속도를 제공할 수 있으므로 FreeToken의 전송 중심 장점은 상대적으로 덜 중요할 수 있습니다.

공개된 벤치마크 수치를 보장된 결과로 간주하지 않고, 지원되는 양자화 모델을 평가하려면 다음 워크플로를 사용하세요.

런타임은 스케줄러의 안전 지점에서 GPU 전문가 캐시의 크기를 동적으로 조정하고 재구성할 수 있습니다. 이는 세션 중 브라우저 창, 데스크톱 애플리케이션 또는 기타 GPU 워크로드로 인해 사용 가능한 VRAM이 변할 때 유용합니다.

에이전트 워크로드에서는 순수한 디코드 속도만큼 컨텍스트 처리도 중요합니다. FreeToken은 사고 구간, 도구 호출, 도구 출력 및 대화 턴과 같은 의미적 경계에 반복 상태 체크포인트를 배치합니다. 에이전트가 이전 블록을 편집하면 런타임은 변경되지 않은 접두사를 재사용하고 새 접미사만 다시 프리필할 수 있습니다.

FreeToken을 정기적인 로컬 서비스에 도입하기 전에 설정의 실용성을 가장 자주 결정하는 제약 조건을 확인하세요.

FreeToken은 llama.cpp를 보편적으로 대체하는 솔루션으로 포지셔닝되지 않습니다. llama.cpp는 더 다양한 운영체제, 프로세서, GPU 공급업체, Apple Silicon 기기 및 모델 형식을 지원합니다. 반면 FreeToken은 대형 MoE 모델과 GPU 메모리, CPU 실행, 호스트 RAM 및 PCIe 전송의 조율에 초점을 맞춥니다.

이 프로젝트는 OpenAI 호환 및 Anthropic 호환 API도 제공하므로 로컬 모델을 지원되는 코딩 및 에이전트 도구에 연결할 수 있습니다. API 계층의 호환성이 모든 클라이언트에서 동일한 동작을 보장하는 것은 아니므로 인증, 컨텍스트 처리, 도구 호출 및 타임아웃 설정을 개별적으로 테스트하세요.

기술 설계 및 평가 세부 사항은 FreeToken 연구 논문을 참고하세요. 이 논문은 FreeToken을 Apache 2.0 오픈 소스 시스템으로 소개하며, 릴리스 제공처로 flashml.ai를 명시합니다.