FreeToken 290b 모델: 2026 엣지 MoE 설정 가이드

FreeToken은 대규모 Mixture-of-Experts 모델을 위한 엣지 네이티브 서빙 시스템입니다. FreeToken 290b 모델이라는 검색어는 일반적으로 논문에서 다루는 프런티어급 서빙 맥락을 가리키지만, 문서화된 시연은 총 284B개의 파라미터와 토큰당 약 13B개의 활성 파라미터를 가진 DeepSeek-V4-Flash를 사용합니다. 중요한 차이점은 희소 활성화가 연산량을 줄여 주지만, 전체 전문가 풀을 유지하려면 여전히 상당한 호스트 메모리와 저장 공간이 필요하다는 점입니다.

전체 모델을 GPU 메모리에 넣어야 하는 대신, FreeToken은 GPU, CPU, 호스트 메모리, PCIe 인터커넥트를 하나의 추론 플랫폼으로 취급합니다. 비전문가 가중치는 GPU에 유지하고, 라우팅된 전체 전문가 풀은 호스트 메모리에 둡니다. 동적 GPU 캐시는 현재 워크로드에 가장 유용한 전문가-레이어 쌍을 저장합니다.

이 시스템은 긴 컨텍스트와 반복적인 도구 호출로 프리필과 디코드 모두에 부담이 발생하는 에이전트 세션을 대상으로 합니다. 설계는 다음 세 가지 반복적인 문제를 해결합니다.

• 프리필 전송 비용: 대규모 전문가 풀이 CPU-GPU 링크를 통해 이동해야 합니다.
• 디코드 캐시 미스: 각 토큰이 현재 상주하지 않는 전문가를 요청할 수 있습니다.
• 변화하는 리소스: 브라우저, 게임, 데스크톱 애플리케이션, 증가하는 KV 캐시가 사용 가능한 VRAM을 줄일 수 있습니다.

연구 논문 “FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution”은 2026년 8월 24일에 공개된 아키텍처, 구현, 평가 결과를 설명합니다.

FreeToken은 프리필과 디코드의 병목 지점이 서로 다르기 때문에 추론을 두 단계로 나눕니다. 프리필은 프롬프트를 처리하고 첫 토큰 생성 시간에 영향을 주는 반면, 디코드는 한 번에 하나의 토큰을 생성하므로 전문가 지역성과 대역폭 균형에 더 민감합니다.

프리필 중 시스템은 전체 레이어 더블 버퍼링을 사용합니다. GPU가 한 레이어를 계산하는 동안 다음 레이어의 전문가 가중치는 PCIe를 통해 두 번째 버퍼로 스트리밍됩니다. 모든 전문가 이동이 끝날 때까지 기다리는 대신 전송과 연산을 겹쳐 처리합니다.

에이전트 워크로드에서는 대화 기록도 자주 수정됩니다. 사고 블록, 도구 호출, 도구 출력, 대화 턴은 요청 사이에 삭제되거나 교체될 수 있습니다. FreeToken은 이러한 의미적 경계에 반복 상태 체크포인트를 배치하여 남아 있는 접두사를 재사용할 수 있도록 합니다. 변경된 접미사만 다시 처리하면 됩니다.

디코드 중에는 라우팅된 전문가가 공유 GPU 캐시에 있는지 확인합니다. 캐시 적중은 GPU에서 직접 실행됩니다. 캐시 미스는 대역폭을 기반으로 계산된 비율에 따라 GPU 캐시 채우기와 CPU 실행으로 나뉩니다.

미스 정책은 측정된 두 값을 사용합니다.

• Bₚ: 고정된 호스트-디바이스 전문가 전송 대역폭
• Bₕ: CPU 전문가 커널에 사용할 수 있는 유효 호스트 측 대역폭

m개의 누락된 전문가가 있는 단계에서, 근사 캐시 채우기 수는 다음과 같습니다.

q* ≈ m × Bₚ / Bₕ

PCIe 비중이 높을수록 더 많은 GPU 캐시 채우기가 유리합니다. CPU 경로가 강할수록 더 많은 미스를 CPU에서 직접 실행할 수 있습니다. 이는 고정된 하드웨어 등급표가 아니라 런타임 정책입니다.

문서화된 평가는 여러 소비자용 및 워크스테이션 구성에서 수행되었습니다. 결과는 모델, 양자화 방식, 호스트 메모리, PCIe 세대, 워크로드에 따라 달라지므로 아래 수치는 보편적으로 보장되는 값이 아니라 보고된 참고 지점으로 보아야 합니다.

이 시스템은 Qwen3.6-35B-A3B, DeepSeek-V4-Flash, 그리고 워크스테이션급 GLM-5.2 시연을 지원합니다. 가장 큰 예시는 96GB 메모리를 탑재한 단일 RTX PRO 6000 Blackwell에서 753B 파라미터 MoE 모델을 사용하는 구성입니다.

RTX 5090에서 논문은 테스트한 워크로드 전반에서 Qwen3.6이 초당 약 7783토큰, DeepSeek-V4-Flash가 초당 2225토큰을 기록했다고 보고합니다. 보고된 결과는 모델과 시나리오에 따라 가장 강력한 베이스라인보다 1.5배에서 2.3배 높았습니다.

하드웨어를 달리한 Qwen3.6 코딩 워크로드에서 FreeToken은 가장 강력한 베이스라인보다 다음과 같은 성능 우위를 보였습니다.

RTX 4060 노트북 사례가 주목할 만한 이유는 8GB 시스템이 NVFP4 빌드를 사용해 초당 39.3토큰에 도달했으며, 해당 비교에서 RTX 4090 속도의 92%로 보고되었기 때문입니다. 이 결과는 호스트 대역폭과 양자화가 GPU 모델명만큼이나 중요할 수 있음을 보여 줍니다.

실용적인 배포는 캐시 크기를 추측하는 것보다 메모리 계층 구조를 먼저 파악하는 것에서 시작해야 합니다. 호스트에 상주하는 전문가 풀은 여전히 기준 데이터이므로, GPU 캐시 용량은 모델의 정확성이 아니라 속도와 지연 시간에 영향을 줍니다.

FreeToken은 서빙 시스템을 개선하지만 대규모 모델에 필요한 물리적 비용을 없애지는 않습니다. 전체 전문가 풀에는 여전히 수백 GB의 호스트 메모리 또는 저장 공간이 필요할 수 있습니다. 플랫폼 지원은 운영체제와 드라이버의 동작에도 좌우되며, 특히 고정 또는 등록된 메모리의 경우 더욱 그렇습니다.

빠른 DMA 경로를 구축할 수 없는 경우 런타임은 순수 CPU MoE 백엔드로 대체될 수 있습니다. 비전문가 레이어는 GPU에 남고, 활성화, 라우팅 메타데이터, 집계된 출력은 디바이스 경계를 넘어 이동합니다. 이는 배포 가능성을 높이지만 최대 전송 성능을 낮출 수 있습니다.

결과를 비교하기 전에 다음 체크리스트를 사용하세요.

가장 유용한 지표는 평균 초당 토큰 수에만 국한되지 않습니다. 에이전트 워크로드에서는 긴 꼬리 TTFT가 클라이언트가 정상적으로 기다릴 수 있는지, 아니면 타임아웃 한계에 도달하는지를 결정할 수 있습니다. 논문은 테스트 셀에서 FreeToken의 최악의 턴 TTFT가 44초 미만으로 유지되었다고 보고했으며, 각 베이스라인은 평가 중 어느 한 지점에서 150초를 초과했습니다.