FreeToken codex: 설정 가이드, 벤치마크 및 한계

FreeToken은 매우 큰 mixture-of-experts 모델을 단일 워크스테이션 GPU에서 더욱 실용적으로 실행하기 위해 설계된 로컬 추론 시스템입니다. 이 프로젝트는 로컬 모델 성능을 제한하는 경우가 많은 메모리 전송 문제를 해결하는 데 초점을 맞추고 있으므로, 비공개 코딩 에이전트를 구축하는 개발자에게 특히 관련성이 높습니다.

핵심 아이디어는 간단합니다. 하나의 모델에는 수천억 개의 파라미터가 포함될 수 있지만, mixture-of-experts 아키텍처는 각 토큰마다 소수의 전문가 그룹만 활성화합니다. FreeToken은 모든 전문가를 동일하게 취급하는 대신 라우터가 요청할 가능성이 높은 가중치를 추적하고 그에 맞춰 시스템 메모리를 관리합니다.

2026년 8월 17일 논문은 7530억 개의 파라미터를 가진 모델을 하나의 워크스테이션 GPU에서 실행하는 방법을 설명합니다. 그렇다고 모델 전체가 96GB VRAM 안에 들어간다는 뜻은 아닙니다. 보고된 4비트 가중치는 디스크에서 약 433GB를 차지하므로, FreeToken은 시스템 RAM과 GPU 메모리 사이에서 선택적 로딩, 캐싱 및 데이터 이동을 수행합니다.

영상 하이라이트:

• FreeToken의 런타임 라우팅 방식과 정적 전문가 오프로딩 비교
• Qwen, DeepSeek 및 GLM 모델 제품군에서 보고된 성능
• Windows, Docker, GGUF, Apple Silicon 및 다중 GPU와 관련된 실질적인 한계
• 단순한 클라우드 비용 비교보다 로컬 개인정보 보호가 더 중요할 수 있는 이유

FreeToken의 보고된 결과는 모델이 mixture-of-experts 라우팅을 사용하고, 시스템이 활성 전문가를 계속 사용할 수 있을 만큼 충분한 메모리 대역폭을 갖췄을 때 가장 뛰어납니다. 인용된 테스트에서 이 엔진은 유사한 라우팅 추적 및 캐시 조건에서 llama.cpp와 비교되었습니다.

보고된 수치는 여러 구성에서 의미 있는 이점을 보여 줍니다. RTX 5090급 워크스테이션 카드에서 Qwen 35B는 초당 약 77–83토큰에 도달했으며, DeepSeek V4 Flash는 초당 약 22–25토큰을 기록했습니다. 같은 논의에서 GLM 5.2 테스트는 초당 14.9토큰을 기록했고, llama.cpp는 초당 7.3토큰을 기록했습니다.

이 수치는 모든 하드웨어에 적용되는 보장이 아니라 프로젝트에서 보고한 벤치마크로 해석해야 합니다. 결과는 모델 양자화, 프롬프트 길이, 컨텍스트 크기, 캐시 설정, 저장 장치 속도, 드라이버 버전 및 정확한 GPU 모델에 따라 달라질 수 있습니다.

클라우드 비교는 특히 신중하게 살펴봐야 합니다. 헤드라인 차트에서는 FreeToken의 디코딩 속도와 클라우드 코딩 에이전트 수치를 나란히 표시할 수 있지만, 이러한 측정값은 추론 과정의 서로 다른 단계를 나타낼 수 있습니다. 인용된 분석에서는 클라우드 기준의 순수 디코딩 중앙값인 초당 61.3토큰과 엔드투엔드 정규화 수치를 구분합니다.

따라서 단순한 막대 차트의 비율이 보여 주는 것만큼 비교 결과가 극적이지는 않습니다. 인용된 설정에서는 여전히 FreeToken이 더 빠른 것으로 보이지만, 동일한 분모를 사용하면 차이는 비교적 modest한 성능 우위에 가깝습니다.

가장 실용적인 비교는 단순히 어느 엔진이 더 높은 토큰 속도를 보고했는지가 아닙니다. 이미 사용 중인 하드웨어, 모델 형식 및 배포 작업 흐름을 어느 엔진이 지원하는지가 더 중요합니다.

FreeToken은 동적 전문가 배치라는 특정 시스템 문제에 집중합니다. Llama.cpp는 더 성숙한 프로젝트이며 Apple Metal, AMD, Vulkan 및 모바일 중심 환경을 포함해 더 폭넓은 하드웨어 백엔드를 지원합니다. 또한 CPU mixture-of-experts 옵션도 제공하지만, 인용된 비교에서는 이 방식이 라우팅 인식 방식이 아닌 정적 방식으로 설명됩니다.

지원되는 Nvidia GPU를 사용하는 개발자라면 FreeToken이 매력적인 성능 실험 기회를 제공할 수 있습니다. 반면 하드웨어가 혼합된 팀, Mac 사용자 또는 GGUF와 Docker 지원이 필요한 사용자에게는 llama.cpp가 여전히 더 편리한 기준점일 수 있습니다.

프로젝트가 초기 단계라는 점은 중요합니다. 인용된 출시 관련 논의에서는 Windows 설치 실패, Docker 지원 부족, GGUF 지원 부족, 듀얼 GPU 모드 부재 및 Apple Silicon 미지원 등을 포함해 GitHub에 8개의 미해결 이슈가 있다고 보고했습니다. 코딩 에이전트 작업 흐름이 재현 가능한 컨테이너나 Mac 워크스테이션에 의존한다면, 이는 사소한 세부 사항이 아닙니다.

FreeToken은 원클릭 코딩 보조 도구라기보다 기술적인 설정 프로젝트로 접근해야 합니다. 인용된 구현은 FlashML/FreeToken GitHub 저장소 및 Apache 라이선스 연구 릴리스와 관련되어 있습니다. 설치하기 전에 프로젝트 문서와 최신 이슈 트래커를 검토하세요.

이 논문은 arXiv:2608.16157로 식별되며, 2026년 8월 17일 제출되었습니다: FreeToken 논문 읽기. 프로젝트 코드는 GitHub의 FlashML/FreeToken으로 참조되어 있습니다. 진행하기 전에 이 링크와 지원되는 리비전이 계획한 배포 환경과 일치하는지 확인하세요.

FreeToken codex를 검토해야 하는 가장 큰 이유가 반드시 비용 때문인 것은 아닙니다. 로컬 추론을 사용하면 프롬프트, 소스 코드 및 중간 응답을 사용자가 관리하는 하드웨어에 보관할 수 있습니다. 이는 독점 저장소, 규제 대상 업무 또는 호스팅 코딩 서비스로 전송할 수 없는 프로젝트에 유용할 수 있습니다.

인용된 비용 논의에서는 2026년 7월 4,000달러를 초과하는 가격의 워크스테이션 GPU와 클라우드 코딩 에이전트 세션을 비교합니다. 동일한 하드웨어 구매 비용이 인용된 한 프리미엄 서비스에서는 약 500회의 중앙값 세션에 해당하고, 더 저렴한 DeepSeek 요금 수준에서는 최대 40,000회 세션에 해당할 수 있다고 추정합니다. 이는 예시적인 계산일 뿐, 모든 경우에 적용되는 투자 수익 공식은 아닙니다.

로컬 하드웨어에는 클라우드 비교에서 제외될 수 있는 다음과 같은 비용도 발생합니다.

• GPU 구매 또는 감가상각
• 전기 및 냉각
• 모델 파일 저장 공간
• 시스템 메모리 업그레이드
• 설정 및 유지 관리 시간
• 드라이버, 컴파일러 및 모델 호환성 작업

로컬 시스템은 제공업체의 모델 종료 일정에 대한 의존도도 줄여 줍니다. 하지만 이러한 이점에는 책임이 따릅니다. 드라이버를 업데이트하고, 온도를 모니터링하며, 로컬 엔드포인트를 보호하고, 프롬프트와 프로젝트 설정을 백업해야 합니다.

FreeToken은 까다로운 mixture-of-experts 작업 부하를 위한 초기 단계의 로컬 추론 프로젝트로 이해하는 것이 가장 적절합니다. 시스템을 조정하는 것을 즐기고 호환되는 Nvidia 하드웨어를 보유한 개발자에게 유용할 수 있지만, 기존 런타임을 보편적으로 대체하는 솔루션은 아닙니다.