FreeToken github: 로컬 MoE 설정 가이드 및 벤치마크

FreeToken github은 개인용 및 소비자용 하드웨어에서 프런티어급 오픈 웨이트 Mixture-of-Experts 모델을 실행하도록 설계된 엣지 네이티브 추론 엔진의 공개 저장소입니다. 이 프로젝트는 GPU 메모리, 시스템 RAM, CPU 연산 성능 및 인터커넥트 대역폭을 하나의 유연한 서빙 플랫폼으로 결합하며, GPU를 고립된 장치로만 취급하지 않습니다.

공식 FreeToken GitHub 저장소에서는 프로젝트 설명, 데스크톱 애플리케이션 방향, CLI 설치 안내, 연구 인용 정보, 감사의 글 및 라이선스 정보를 제공합니다. 또한 논문, 개발자 Slack, 커뮤니티 Discord 및 커뮤니티 WeChat 채널로 연결되는 링크도 제공합니다.

영상 하이라이트:

• FreeToken은 GPU 메모리에 완전히 들어가지 않는 대규모 MoE 모델을 위해 설계되었습니다.
• 적응형 전문가 캐싱을 사용하면 자주 사용되는 모델 구성 요소를 GPU에 더 가깝게 유지할 수 있습니다.
• 에이전트 워크로드에서는 반복적인 도구 호출 중 컨텍스트 재계산이 줄어드는 이점을 얻을 수 있습니다.
• 이 프로젝트는 특화된 엔진이며 모든 로컬 추론 런타임을 대체하는 범용 솔루션은 아닙니다.

Mixture-of-Experts 모델은 전체 파라미터 수가 매우 많더라도 각 토큰에 대해 더 적은 수의 전문가만 활성화할 수 있습니다. 이러한 희소 실행 방식은 프런티어급 로컬 추론을 더욱 현실적으로 만들어 주지만, 전체 체크포인트는 여전히 어딘가에 저장되어 있어야 합니다.

FreeToken은 여러 런타임 전략을 조율하여 이 문제에 대응합니다. 대역폭 적응형 CPU–GPU 공동 실행 정책은 특정 연산을 CPU에 유지할지 GPU로 이동할지를 판단합니다. 이 결정은 고정된 하드웨어 분할이 아니라 실제 시스템 상태에 따라 이루어집니다.

이 프로젝트는 전역 LRU 전문가 캐싱도 사용합니다. 실제로는 자주 필요한 전문가를 더 빠른 메모리 계층에 유지하고, 덜 유용한 항목을 교체할 수 있습니다. 모델의 전체 가중치가 시스템 메모리에 일부 저장되는 경우 특히 유용한 방식입니다.

더블 버퍼 프리필 스트리밍은 GPU가 이미 수행 중인 작업 뒤에 전송 지연을 숨기려고 시도합니다. 전송에는 여전히 대역폭이 필요하지만, 전송과 연산을 중첩하면 사용자가 체감하는 대기 시간을 줄일 수 있습니다. 프롬프트가 길어지고 에이전트가 작업 컨텍스트를 반복적으로 업데이트할수록 이 접근 방식의 중요성은 커집니다.

공식 프로젝트 설명에서는 그래프 호환 실행과 시맨틱 인식 캐싱도 강조합니다. 이러한 기능은 파일을 읽고, 도구를 호출하고, 결과를 받은 뒤 후속 요청을 제출하는 코딩 에이전트처럼 프롬프트가 점진적으로 변경되는 워크로드를 대상으로 합니다.

저장소에서는 두 가지 주요 접근 경로를 제시합니다. 하나는 Windows 또는 Linux용 데스크톱 애플리케이션이고, 다른 하나는 uv 또는 pip를 사용하는 명령줄 설치 경로입니다. 현재 가속 CLI 경로는 Linux, x86-64 하드웨어, Nvidia 그래픽, CUDA 13 및 최신 드라이버 환경과 가장 밀접하게 연관되어 있습니다.

첫 설정을 집중적이고 검증 가능한 방식으로 진행하려면 다음 절차를 사용하세요.

FreeToken의 가장 강력한 사용 사례는 GPU에 완전히 들어가지 않는 대규모 MoE 모델입니다. 이러한 상황에서 런타임은 호스트 메모리를 사용하면서 CPU와 GPU 간 작업 분담을 적응형으로 조정할 수 있습니다.

보고된 테스트에서는 RTX 5090에서 Qwen 3.5 35B A3B를 실행했을 때 일부 워크로드에서 초당 약 77–83토큰이 측정되었습니다. 같은 범주의 테스트 환경에서 DeepSeek V4 Flash는 초당 약 22–25토큰으로 보고되었습니다. 이 수치는 프로젝트 관련 테스트에서 나온 결과이므로 보편적인 보장이 아니라 특정 워크로드에 해당하는 결과로 해석해야 합니다.

별도의 커뮤니티 보고 결과에서는 RTX 5080, 64GB 시스템 메모리 및 Ryzen 9 9950X3D를 사용했습니다. 사용자는 Qwen 3.5 35B A3B에서 초당 약 100토큰을 기록했으며, 한 사례에서는 약 110토큰에 도달했다고 보고했습니다. 이는 통제된 벤치마크가 아닌 초기 커뮤니티 결과입니다.

토큰 생성 속도는 전체 사용 경험의 일부에 불과합니다. 특히 클라이언트가 대화 내용을 반복적으로 수정할 때 에이전트 워크플로에서는 컨텍스트 처리 중 긴 지연이 나타날 수 있습니다. FreeToken의 시맨틱 인식 캐싱은 변경되지 않은 컨텍스트를 보존하고 중복 재계산을 줄이기 위한 기능입니다.

공정하게 비교하려면 동일한 체크포인트, 양자화 방식, 프롬프트 길이, 컨텍스트 설정 및 클라이언트 동작을 사용해 테스트하세요. VRAM에 완전히 들어가는 소형 모델은 이미 다른 런타임에서 매우 우수한 성능을 낼 수 있습니다. 메모리 이동과 긴 컨텍스트 업데이트가 주요 제약일 때 FreeToken의 장점이 더욱 분명해집니다.

FreeToken은 특화된 프로젝트입니다. Windows와 Linux 데스크톱 접근을 지원한다고 안내하지만, 가속 명령줄 문서는 Linux, x86-64 시스템, Nvidia GPU, CUDA 13 및 최신 드라이버에 초점을 맞추고 있습니다. 범용 CPU 실행기나 모든 하드웨어 생태계를 대체하는 광범위한 솔루션으로 소개되지는 않습니다.

또한 이 프로젝트가 충분한 저장 공간과 시스템 RAM의 필요성을 없애 주는 것도 아닙니다. 희소 실행으로 토큰마다 활성화되는 파라미터 수가 줄어들더라도 대규모 체크포인트 자체는 여전히 큽니다. 모델 형식, 양자화, 컨텍스트 길이 및 에이전트 동작은 모두 최종 메모리 요구 사항에 영향을 줍니다.

Apache License 2.0에 따라 저장소는 라이선스 조건 내에서 검토와 재사용에 적합합니다. 프로젝트는 SGLang, vLLM, FlashInfer, LightLLM, flash-linear-attention 및 llama.cpp를 비롯한 시스템에서 영감을 얻었으며 일부 코드를 재사용했음을 밝히고 있습니다. 수정된 구성 요소를 배포하기 전에 저장소의 최신 라이선스와 고지 사항을 검토하세요.