FreeToken github moe: 설정 가이드 및 MoE 런타임 비교

FreeToken은 개인용 하드웨어에서 대규모 혼합 전문가(MoE) 모델을 서비스하도록 설계된 엣지 추론 엔진입니다. “FreeToken github moe”를 검색할 때 중요한 차이점은 FreeToken이 새로운 언어 모델이 아니라 서빙 소프트웨어라는 점입니다. 지원되는 체크포인트를 불러오고 추론 중 GPU, CPU, 시스템 메모리, PCIe 연결을 조정합니다.

이 시스템은 전체 파라미터 수가 사용 가능한 VRAM보다 훨씬 큰 모델을 대상으로 합니다. MoE 모델은 각 토큰마다 일부 전문가만 활성화하므로 토큰당 계산량을 관리 가능한 수준으로 유지할 수 있습니다. 그러나 전체 전문가 풀은 여전히 메모리 어딘가에 보관되어야 합니다. FreeToken은 전체 풀을 호스트 메모리에 유지하면서 VRAM을 적응형 전문가 캐시로 사용합니다.

영상 하이라이트:

• FreeToken은 대규모 MoE 모델을 위한 llama.cpp의 특화된 대안으로 자리매김하고 있습니다.
• 보고된 테스트에는 Qwen3.6-35B-A3B, DeepSeek-V4-Flash, GLM-5.2가 포함됩니다.
• 이 런타임은 장시간 실행되는 코딩 에이전트 및 도구 호출 세션을 위해 설계되었습니다.
• 하드웨어 요구 사항은 VRAM, 시스템 RAM, CPU 대역폭, PCIe 대역폭에 따라 달라집니다.

FreeToken 연구 논문은 세 가지 주요 메커니즘을 설명합니다.

이 논문은 남은 가중치가 시스템 메모리에 들어간다는 조건에서 FreeToken이 8GB 노트북 GPU에서 350억 파라미터급 모델을 서비스할 수 있다고 보고합니다. 이는 모델에 총 8GB의 메모리만 필요하다는 뜻이 아닙니다. GPU는 활성 계산과 캐시된 전문가를 보관하고, 시스템 RAM은 더 큰 호스트 상주 풀을 저장합니다.

모델이 VRAM에 완전히 들어가지 않을 때 FreeToken의 가치가 가장 큽니다. 전체 양자화 모델이 이미 GPU에 들어간다면 시스템 메모리와 VRAM 사이의 반복적인 전송을 피할 수 있는 기존 런타임이 여전히 매우 경쟁력 있을 수 있습니다.

보고된 RTX 5090 결과는 모델과 작업 부하에 따라 서로 다른 동작을 보여 줍니다.

이 수치는 프로젝트가 공개한 평가에서 가져온 것이므로 보편적인 보장이 아니라 보고된 결과로 받아들여야 합니다. 모델 정밀도, 프롬프트 길이, 시스템 메모리, CPU 아키텍처, PCIe 링크, 백그라운드 애플리케이션은 성능을 크게 바꿀 수 있습니다.

이 시스템은 에이전트 작업 부하에서 **첫 토큰까지 걸리는 시간(TTFT)**도 강조합니다. 코딩 에이전트는 파일을 반복해서 읽고, 도구를 호출하고, 출력을 받은 뒤, 점점 커지는 컨텍스트와 함께 새로운 요청을 보냅니다. FreeToken은 의미적 경계에 접두사 및 재귀 상태 체크포인트를 사용하므로 도구 호출이나 컨텍스트 편집 후에도 변경되지 않은 컨텍스트 구간을 재사용할 수 있습니다.

이 평가에서는 FreeToken을 llama.cpp, KTransformers, Ollama, MoE-Infinity와 비교합니다. 보고된 이점은 전문가 가중치를 자주 이동해야 하고 작업 부하에 길고 변화하는 컨텍스트가 포함된 경우에 가장 크게 나타납니다.

제공된 자료에서 설명하는 가속 문서는 Linux x86-64, NVIDIA GPU, CUDA 13, 최신 드라이버에 초점을 맞춥니다. 프로젝트는 Windows와 Linux의 데스크톱 지원도 언급하지만, 가장 강력하게 문서화된 경로는 여전히 NVIDIA 하드웨어를 사용하는 Linux입니다.

다음 설정 순서를 계획 수립을 위한 가이드로 사용하세요. 런타임 지원은 변경될 수 있으므로 설치 전에 프로젝트의 공식 릴리스 채널을 통해 최신 명령과 지원되는 체크포인트를 확인하세요.

이 프로젝트의 설계는 전문가 뱅크를 효율적으로 로드할 수 있는 레이아웃으로 정규화하기 위해 FTW 저장 형식을 사용합니다. 지원되는 배포판에서 전처리된 형식을 제공한다면 반복적인 텐서 탐색과 재패킹을 피하여 시작 작업을 줄일 수 있습니다.

FreeToken을 llama.cpp의 보편적인 대체재로 간주해서는 안 됩니다. 두 프로젝트는 서로 다른 우선순위에 맞춰 최적화되어 있습니다. llama.cpp는 훨씬 더 다양한 운영 체제, CPU, GPU 제조업체, Apple Silicon 기기, GGUF 모델을 지원합니다. 반면 FreeToken은 전문가가 GPU 메모리를 초과하는 초대형 MoE 모델을 서비스하는 어려운 상황에 집중합니다.

FreeToken의 보고된 장점은 하나의 최적화에 의존하기보다 여러 정책을 결합한 결과입니다.

• 공유 LRU 전문가 캐싱은 토큰 수준의 라우팅 지역성을 따릅니다.
• 더블 버퍼링 프리필은 현재 계산과 다음 레이어의 전문가 이동을 중첩합니다.
• 대역폭 적응형 스케줄링은 모든 시스템의 PCIe와 DRAM 균형이 같다고 가정하지 않고 실제 시스템을 측정합니다.
• 탄력적 캐시 크기 조정은 전문가와 증가하는 KV 캐시 수요 사이의 VRAM 할당을 조정합니다.
• 접두사 재사용은 도구 상호 작용 후 에이전트 세션에서 변경되지 않은 컨텍스트를 다시 계산하지 않도록 돕습니다.

다음 항목 대부분이 사실이라면 FreeToken을 선택하세요.

• 대상 모델이 사용 가능한 VRAM을 초과하는 MoE 체크포인트입니다.
• 전체 모델을 수용할 만큼 시스템 RAM이 충분합니다.
• GPU가 NVIDIA 제품이며 소프트웨어 스택이 지원됩니다.
• 장시간 실행되는 코딩 또는 도구 호출 에이전트가 중요합니다.
• 더 전문적인 설정을 사용하는 데 익숙합니다.

대규모 MoE 모델에서의 최고 성능보다 이식성, 모델 다양성, Apple Silicon, AMD 지원, CPU 실행, GGUF 호환성이 더 중요하다면 llama.cpp 또는 다른 범용 런타임을 선택하세요.

FreeToken의 아키텍처는 대규모 로컬 모델에 더 쉽게 접근할 수 있도록 해 주지만, 모델에 필요한 저장 공간이나 메모리 요구 사항을 없애 주지는 않습니다. 8GB GPU가 35B 또는 284B 체크포인트를 8GB 설치 파일로 바꾸어 주는 것도 아닙니다. 전체 모델에는 여전히 호스트 메모리, 저장 공간, 호환 가능한 런타임이 필요합니다.

신뢰할 수 있는 테스트를 위해 모든 런타임에서 동일한 모델, 정밀도, 프롬프트, 클라이언트, 작업 부하를 사용하세요. 짧은 단일 요청은 서버가 작동하는지 확인하는 데 유용하지만 다중 턴 코딩 에이전트를 대표하지는 않습니다. 여러 턴을 실행하고, 관련이 있다면 도구 호출을 포함하며, 평균뿐 아니라 가장 느린 TTFT도 기록하세요.

프로젝트의 공개 평가에 따르면 FreeToken의 테스트 중 가장 느린 턴은 44초 미만으로 유지된 반면, 일부 조건에서 기준 런타임은 훨씬 더 높은 지연을 보였습니다. 이러한 수치는 설계 목표를 이해하는 데 유용하지만, 실제 결과는 하드웨어와 소프트웨어 버전에 따라 달라집니다.