FreeToken api: 로컬 MoE 서빙 설정 가이드 2026

FreeToken은 개인 하드웨어에서 대규모 오픈 웨이트 전문가 혼합 모델을 실행하도록 설계된 엣지 네이티브 서빙 시스템입니다. GPU만 사용 가능한 자원으로 취급하는 대신 GPU 메모리, CPU 메모리, CPU 실행, PCIe 인터커넥트를 하나의 추론 플랫폼으로 조율합니다.

이 시스템은 전체 전문가 풀이 사용 가능한 VRAM을 초과하지만 토큰당 희소 연산은 실용적인 수준으로 유지되는 모델을 대상으로 합니다. 예를 들어 DeepSeek-V4-Flash는 총 284B개의 파라미터와 13B개의 활성 파라미터를 보유한 것으로 설명되며, GLM-5.2는 총 753B개의 파라미터와 40B개의 활성 파라미터를 가진 것으로 소개됩니다. 각 토큰에서는 라우팅된 전문가 중 일부만 참여하지만, 전체 전문가 풀에는 여전히 접근할 수 있어야 합니다.

동영상 하이라이트:

• FreeToken은 대규모 MoE 모델을 위한 새로운 로컬 엔진으로 소개됩니다.
• 주요 비교 대상은 라우팅 인식 캐싱과 정적 배치 방식입니다.
• 보고된 결과에는 소비자용 GPU, 노트북, 워크스테이션급 GPU가 포함됩니다.
• 에이전트 워크로드에서는 꼬리 지연 시간이 가용성 문제로 다뤄집니다.

FreeToken은 모델을 GPU에 상주하는 부분과 호스트에 상주하는 전문가 풀로 분리합니다. 비전문가 가중치는 GPU에 남아 있고, CPU에 상주하는 풀은 라우팅된 전문가를 위한 기준 데이터 역할을 합니다. 사용 가능한 VRAM은 MoE 레이어 전체가 공유하는 탄력적인 전문가 캐시로 전환됩니다.

이 설계가 중요한 이유는 희소 연산이 메모리 압박을 없애 주지 않기 때문입니다. 하나의 토큰이 훨씬 더 큰 풀에서 단 6개의 전문가만 활성화할 수 있지만, 런타임은 라우터가 다음에 선택하는 전문가가 무엇이든 액세스할 준비가 되어 있어야 합니다.

디코드 중에 FreeToken은 GPU에서 캐시 적중과 캐시 미스를 식별합니다. 적중한 항목은 VRAM에서 직접 실행됩니다. 캐시 미스는 측정된 호스트 측 대역폭과 PCIe 대역폭에 따라 GPU 캐시 채우기와 CPU 실행으로 나뉩니다. 이를 통해 런타임이 모든 시스템에 하나의 고정된 전략만 적용하는 것을 방지합니다.

신뢰할 수 있는 설정은 성능 기대치보다 호환성 확인에서 시작됩니다. 공개 자료에서는 CUDA 및 NVIDIA 기반 Linux 환경을 주요 지원 대상으로 제시하고 있으며, 2026년 공개 출시 시기에도 더 폭넓은 Windows, macOS 및 구형 GPU 지원 요청이 계속 확인되었습니다.

모든 모델이나 운영체제가 지원된다고 가정하지 말고, 다음 워크플로를 사용해 로컬 배포를 준비하세요.

시스템에 접근하려면 프로젝트 문서와 릴리스 자료에서 공식 FreeToken 프로젝트 페이지를 안내합니다. 기술 설계는 FreeToken 연구 논문에 문서화되어 있습니다.

FreeToken의 보고된 성능 향상은 대규모 MoE 모델, 제한된 VRAM, 반복적인 전문가 라우팅, 장시간 실행되는 에이전트 턴이 결합된 워크로드에서 가장 크게 나타납니다. 해당 평가는 여러 소비자용 시스템과 워크스테이션급 RTX PRO 6000에서 활발히 유지 관리되는 엣지 엔진들과 FreeToken을 비교합니다.

RTX 5090에서 공개된 결과는 Qwen3.6-35B의 경우 초당 77–83토큰, DeepSeek-V4-Flash의 경우 초당 22–25토큰을 보고합니다. 같은 평가에서 FreeToken의 최악의 턴 TTFT는 44초 미만으로 나타났으며, 하나 이상의 테스트 셀에서 기준 구현의 멈춤 시간은 llama.cpp 232초, Ollama 179초, KTransformers 946초에 달했습니다.

캐시 정책은 보고된 라우팅 추적 재생에서도 상당한 차이를 만들었습니다. RTX 5090 서빙 용량에서 FreeToken의 전역 LRU는 Qwen3.6 전문가 읽기의 16%, DeepSeek-V4-Flash 읽기의 39%를 캐시 미스로 처리했습니다. 같은 모델 순서에서 비교 수치는 llama.cpp의 정적 분할이 각각 62%와 89%의 캐시 미스를 기록한 것으로 제시했습니다.

또한 평가에서는 전체 레이어 더블 버퍼링이 전문가 이동을 연산 뒤에 숨겨 프리필 처리량을 향상했다고 보고합니다. 인용된 Qwen3.6 테스트에서 두 번째 버퍼를 비활성화하면 4K 토큰에서 처리량이 19%, 8K에서 25%, 16K에서 26% 감소했습니다.

FreeToken은 최신 NVIDIA 하드웨어를 이미 보유하고 있고, 충분한 시스템 메모리를 갖추었으며, 코딩 또는 추론 에이전트를 통해 MoE 모델을 실행하는 사용자에게 가장 매력적입니다. 선택한 모델이 이미 VRAM에 여유 있게 들어가거나, 플랫폼에 필요한 CUDA 경로가 없거나, 워크로드가 짧은 단일 턴 요청인 경우에는 이점이 덜 분명합니다.

또한 이 시스템이 실질적인 의미에서 로컬 추론을 무료로 만들어 주는 것은 아닙니다. 하드웨어, 전력, 저장 공간, 냉각, 설정에 드는 시간은 여전히 의사 결정의 일부입니다. 대신 FreeToken의 가치는 개인정보 보호, 로컬 제어, 속도 제한에 대한 노출 감소, 호스팅 서비스에 의존하지 않고 모델을 계속 사용할 수 있다는 점과 연결됩니다.