FreeToken 릴리스: 2026 설정 가이드 및 주요 변경 사항

2026 FreeToken 릴리스는 최첨단 규모의 혼합 전문가 모델을 개인용 하드웨어에서 더욱 실용적으로 사용할 수 있도록 설계된 로컬 추론 엔진을 선보입니다. 모든 전문가 가중치를 GPU 메모리에 유지하도록 요구하는 대신, 시스템은 전체 전문가 풀을 호스트 메모리에 보관하고 사용 가능한 VRAM을 탄력적인 캐시로 활용합니다.

프로젝트의 연구 논문 FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution은 2026년 8월 24일에 공개되었습니다. 이 논문은 해당 릴리스를 새로운 모델이 아닌 서빙 시스템으로 설명합니다. 목적은 기존 오픈 웨이트 MoE 모델을 소비자용 하드웨어 전반에서 로드하고, 캐시하며, 실행하는 방식을 개선하는 것입니다.

영상 주요 내용:

• FreeToken은 매우 큰 파라미터 수를 가진 모델의 로컬 서빙을 목표로 합니다.
• 동적 라우팅이 어떤 전문가를 GPU 메모리에 유지할지 결정합니다.
• 측정된 대역폭에 따라 CPU 실행과 PCIe 전송의 균형을 조정합니다.
• 보고된 결과에는 노트북, 데스크톱 및 워크스테이션급 하드웨어가 포함됩니다.

FreeToken은 추론을 프리필과 디코드라는 두 가지 중요한 단계로 나눕니다. 프리필은 기존 프롬프트 또는 대화 컨텍스트를 처리하고, 디코드는 한 번에 하나씩 새로운 토큰을 생성합니다. 각 단계에는 서로 다른 병목이 있으므로 런타임은 단계별로 다른 기법을 사용합니다.

프리필 중에는 긴 컨텍스트 전반에서 많은 전문가에 접근할 수 있습니다. FreeToken은 GPU가 현재 레이어를 처리하는 동안 다음 레이어의 전문가를 스트리밍하는 전체 레이어 이중 버퍼링을 사용합니다. 이를 통해 일부 전송 시간을 계산 과정 뒤에 숨길 수 있습니다. 또한 이 설계는 사고 구간, 도구 호출, 대화 전환과 같은 의미적 경계에 체크포인트를 저장합니다. 에이전트가 컨텍스트를 편집할 때는 변경된 접미사만 다시 계산하면 될 수 있습니다.

디코드 중 라우팅은 희소하지만 토큰마다 변경됩니다. 시작 시 선택한 정적 배치는 활성 전문가를 자주 놓칠 수 있습니다. 대신 FreeToken은 레이어 전반의 최근 라우팅 동작을 추적하는 공유 LRU 캐시를 사용합니다.

대역폭 정책은 이 릴리스를 정의하는 핵심 아이디어 중 하나입니다. Bₚ를 측정된 PCIe 전송 대역폭, Bₕ를 유효 호스트 측 전문가 처리 대역폭이라고 합시다. 런타임은 누락된 전문가 중 몇 개를 GPU 캐시로 전송하고 몇 개를 CPU에서 직접 실행해야 하는지 추정합니다.

이 접근 방식은 모든 캐시 미스를 전송으로 처리하는 것을 피합니다. 전문가는 이후 토큰을 위해 캐시에 남아 있을 수 있으므로 전송이 유용할 때도 있지만, 호스트 대역폭에 여유가 있거나 캐시 용량이 제한된 경우에는 CPU 실행이 더 빠를 수 있습니다.

보고된 2026년 평가에서는 6개 시스템과 여러 에이전트 워크로드에서 FreeToken을 활발히 유지 관리되는 엣지 서빙 엔진과 비교합니다. 최신 NVIDIA GPU, 충분한 호스트 메모리, 그리고 CPU 메모리 대역폭과 PCIe 전송 용량 사이의 적절한 균형을 갖춘 시스템에서 가장 강력한 결과가 나타납니다.

RTX 5090에서 논문은 Qwen3.6-35B에 대해 초당 77~83토큰, DeepSeek-V4-Flash에 대해 초당 22~25토큰을 보고합니다. 8GB 구성의 RTX 4060 노트북에서는 보고된 Qwen3.6 결과가 초당 39.3토큰에 도달합니다. 워크스테이션급 RTX PRO 6000은 GLM-5.2를 초당 14.9토큰으로 서빙하며, 이는 제시된 llama.cpp 구성의 7.3보다 높은 수치입니다.

최악의 턴에서 발생하는 지연 시간도 중요합니다. 평가에 따르면 테스트된 조건에서 FreeToken의 최악의 턴은 44초 미만으로 유지되었지만, 일부 경우 기준 시스템은 상당히 더 높은 지연을 기록했습니다. 에이전트 애플리케이션에서는 이 차이가 클라이언트 감시 타이머나 타임아웃에 의해 중단되기 전에 요청이 완료되는지에 영향을 줄 수 있습니다.

그러나 벤치마크는 적절한 주의를 기울여 해석해야 합니다. 측정은 논문 저자들이 수행했으며, 공개된 자료만으로는 광범위한 독립 재현이 확립되지 않았습니다. 특히 디코드 처리량을 엔드투엔드 프로덕션 추적 결과와 비교할 때는 주요 비교 수치의 측정 정의도 확인해야 합니다.

2026 릴리스는 초기 단계 시스템으로 접근해야 합니다. 공개된 분류 정보는 베타 개발 상태, CUDA 환경 및 POSIX Linux 운영체제를 명시합니다. 현재 확인 가능한 플랫폼 자료만으로는 네이티브 Apple Silicon 빌드, 광범위한 macOS 지원 또는 더 성숙한 엣지 런타임에 해당하는 하드웨어 범위가 확립되지 않았습니다.

프로젝트가 제시한 방향에는 FTW 가중치 형식, CUDA 호환 커널, CPU SIMD 구현, 그리고 고정 메모리 또는 DMA 등록을 사용할 수 없을 때의 순수 CPU 기반 MoE 폴백 백엔드가 포함됩니다. 이러한 기능은 유연성을 높이지만, 운영체제나 그래픽 카드에 관계없이 동일한 성능을 보장하지는 않습니다.

첫 평가에서는 호스트 메모리 예산에 맞는 모델과 짧고 통제된 워크로드로 시작하세요. 시작 시간, 첫 토큰까지의 시간, 안정적인 디코드 속도, 캐시 동작 및 최악의 턴 지연 시간을 기록합니다. 그런 다음 일반적인 데스크톱 애플리케이션을 실행하는 상태에서 테스트를 반복하여 압박 상황에서 탄력적 메모리 관리가 어떻게 동작하는지 확인하세요.

FreeToken은 모든 로컬 추론 엔진을 대체하는 만능 솔루션이 아닙니다. 가장 적합한 사용자는 적절한 NVIDIA 하드웨어를 보유하고 MoE 모델을 다루며, 로컬 제어, 예측 가능한 가용성 및 호스팅 추론에 대한 의존도 감소를 중요하게 생각하는 기술적으로 숙련된 사용자 또는 소규모 팀입니다.

플랫폼 지원 범위가 최우선이라면 이 시스템은 적합하지 않을 수 있습니다. Apple Silicon, 구형 NVIDIA 카드, CUDA를 사용하지 않는 장치 또는 간단한 크로스 플랫폼 설치에 의존하는 사용자는 마이그레이션에 시간을 투자하기 전에 지원 여부를 확인해야 합니다.

이 릴리스의 더 넓은 의미는 아키텍처에 있습니다. GPU 메모리만 따로 평가하는 대신 소비자용 하드웨어를 하나의 통합 시스템으로 다룹니다. 전문가 캐시, CPU 공동 실행, 의미적 체크포인트 및 런타임 메모리 조정은 모두 같은 문제의 서로 다른 부분을 해결합니다. 즉, 전용 데이터센터 외부에서도 대규모 희소 모델을 사용할 수 있도록 하는 것입니다.