FreeToken: 엣지 네이티브 MoE 설정 가이드 및 비교

FreeToken은 소비자용 및 워크스테이션 하드웨어에서 대규모 혼합 전문가 모델을 실행하도록 설계된 엣지 네이티브 추론 엔진입니다. 이 프로젝트는 2026년 8월 제출된 FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution 논문에서 소개되었습니다. 모든 파라미터를 그래픽 메모리에 유지하도록 요구하는 대신, 각 토큰에 선택된 전문가를 중심으로 시스템 메모리, GPU 메모리, 전송 버스를 조율합니다.

이 설계는 희소 모델의 특정 문제를 해결합니다. 하나의 토큰에 대해 활성화되는 파라미터는 일부에 불과할 수 있지만, 전체 전문가 풀에는 여전히 접근할 수 있어야 합니다. 따라서 모델은 활성 연산량은 적당한 수준으로 유지하면서도 상당한 메모리 용량과 신중한 데이터 이동을 요구할 수 있습니다.

영상 하이라이트:

• FreeToken은 초대형 혼합 전문가 모델의 로컬 서비스를 목표로 합니다.
• 핵심 아이디어는 고정된 레이어 분할 대신 동적인 전문가 배치입니다.
• 보고된 성능 향상은 호환되는 NVIDIA 시스템에서 가장 크게 나타납니다.
• 검토한 자료에서는 독립적인 제3자 벤치마크를 확인할 수 없었습니다.

이 프로젝트가 중요한 이유는 로컬 추론이 순수 연산 성능 이상의 요소에 의해 제약되기 때문입니다. 모델이 여러 메모리 풀에 걸쳐 저장될 수 있더라도, 자주 선택되는 전문가가 느린 연결을 통과해야 한다면 성능이 저하될 수 있습니다. FreeToken은 이러한 전송을 고정된 배치 규칙으로 받아들이는 대신 스케줄링 문제로 다룹니다.

혼합 전문가 모델에는 여러 특화 피드포워드 네트워크가 포함되지만, 라우터는 각 토큰에 대해 그중 일부만 활성화합니다. 검토한 예시에서는 레이어마다 수백 개의 전문가가 존재하고, 한 번에 그중 소수만 선택됩니다. 이로 인해 연산은 희소해지지만 더 넓은 파라미터 집합에 접근해야 할 필요까지 사라지는 것은 아닙니다.

실질적인 병목은 전문가 캐시 미스입니다. 다음 토큰이 GPU에서 이미 사용할 수 없는 전문가를 선택하면, 시스템은 해당 데이터를 버스를 통해 이동시키거나 가중치가 이미 위치한 곳에서 관련 작업을 실행해야 합니다. 각각의 결정은 지연 시간, 처리량, 안정성에 영향을 줍니다.

FreeToken의 접근 방식은 라우팅 인식형입니다. 실제 전문가 선택 결과를 사용해 배치와 실행 방식을 조정합니다. 이는 레이어 번호만을 기준으로 고정 분할을 수행하는 방식과 다릅니다. 정적 규칙은 예측 가능하지만 모델이 이후 토큰에서 어떤 전문가를 선택할지는 알 수 없습니다.

중요한 구분은 활성 파라미터와 상주 파라미터의 차이입니다. 모델은 비교적 작은 부분 집합만 활성화하면서도 여전히 큰 메모리 공간을 요구할 수 있습니다. 따라서 수학적 작업량이 변하지 않더라도 라우팅 정책이 실제 응답성에 영향을 줄 수 있습니다.

보고된 벤치마크 결과는 테스트한 하드웨어와 작업 부하에서 FreeToken이 의미 있는 이점을 보였음을 나타냅니다. GeForce RTX 5090에서 350억 파라미터 Qwen 모델을 서비스할 때 논문은 초당 약 7783토큰을 보고합니다. DeepSeek V4 Flash의 보고 범위는 초당 2225토큰입니다. GLM을 워크스테이션 카드에서 서비스한 테스트에서는 초당 5.2~14.9토큰이 보고되었으며, 인용된 비교에서 llama.cpp는 초당 7.3토큰을 기록했습니다.

가장 주목할 만한 결과는 노트북 중심의 테스트입니다. 8GB 그래픽 카드에서 초당 39.3토큰이 보고되었으며, 이는 테스트한 데스크톱 RTX 4090 결과의 약 92%에 해당하는 것으로 설명됩니다. 이 수치는 그래픽 메모리가 제한된 경우 배치 전략이 매우 중요할 수 있음을 시사하지만, 해당 결과는 보편적인 하드웨어 보장이 아니라 프로젝트 벤치마크로 받아들여야 합니다.

처리량은 비교의 한 부분일 뿐입니다. 꼬리 지연 시간은 외부 워치독이 종료하기 전에 에이전트가 한 턴을 완료할 수 있는지를 결정할 수 있습니다. 검토한 자료에 따르면 FreeToken의 단일 턴 최악 결과는 44초 미만이었지만, 일부 비교 결과는 232초를 초과했습니다. 이러한 수치는 코딩 에이전트 워크플로에서 특히 중요합니다. 느린 이상치가 평균 속도가 더 낮은 것보다 더 큰 문제를 일으킬 수 있기 때문입니다.

신중하게 읽으려면 동일한 조건의 측정도 필요합니다. 엔드투엔드 에이전트 속도에는 첫 토큰까지의 시간과 추론 시간이 포함될 수 있지만, 순수 디코드 속도에는 이러한 작업 일부가 제외됩니다. 측정 정의를 고려하지 않고 이러한 수치를 나란히 비교해서는 안 됩니다.

현재 FreeToken의 지원 범위는 성숙한 크로스 플랫폼 런타임보다 좁습니다. 공개 분류에서는 베타 개발 상태, 환경으로서의 NVIDIA CUDA, 운영체제 대상으로서의 POSIX Linux를 명시합니다. 검토한 프로젝트 자료에는 Windows 수정, 듀얼 GPU 지원, 구형 NVIDIA 카드, GGUF 지원, Apple Silicon 지원에 대한 요청도 언급되어 있습니다.

따라서 호환성 확인이 첫 번째 설정 단계입니다. 최신 NVIDIA 카드에서 빠른 결과가 나왔다고 해서 동일한 엔진이 Mac, 구형 GeForce 카드 또는 비-CUDA 가속기에서 실행된다는 의미는 아닙니다. 지원되지 않는 구성을 최적화하려 하기보다 지원 환경부터 확인하세요.

통제된 테스트 디렉터리를 사용하고 구성을 명확하게 기록하세요. 엔진 버전, 모델 파일, 양자화 방식, 프롬프트 형식, 컨텍스트 크기, 측정된 출력을 기록해야 합니다. 이렇게 하면 빠른 결과를 다른 모델이나 더 가벼운 작업 부하의 결과로 착각하는 일을 방지할 수 있습니다.

FreeToken의 가장 강력한 근거는 모든 로컬 AI 사용자가 즉시 기존 런타임을 교체해야 한다는 데 있지 않습니다. 더 구체적인 가치는 어려운 메모리 대역폭 문제에 대해 라우팅 인식형 해결책을 탐구하고, 호환되는 시스템에서 큰 성능 향상을 보고했다는 점입니다. 에이전트가 전문가 전송으로 자주 멈추는 사용자에게는 대표적인 평균 속도보다 낮은 꼬리 지연 시간이 더 중요할 수 있습니다.

그 대가로 성숙도와 지원 범위에는 한계가 있습니다. 검토한 프로젝트는 llama.cpp에 비해 공개된 개발 역사가 짧았으며, 자료에서는 독립적인 제3자 벤치마크를 확인할 수 없었습니다. 더 폭넓은 하드웨어 지원, 안정적인 패키징, 재현 가능한 외부 테스트가 이 접근 방식이 널리 채택되는 런타임이 될지, 아니면 기존 프로젝트에 흡수되는 기술 모음으로 남을지를 결정할 것입니다.

FreeToken의 구체적인 장점이 작업 부하와 일치할 때 사용하세요. 한 종류의 NVIDIA 시스템에서 MoE 성능을 극대화하는 것보다 이식성, 폭넓은 백엔드 지원 또는 예측 가능한 설치가 더 중요하다면 기존 런타임을 함께 유지하는 것이 좋습니다.

로컬 엔진은 처리량 차트에 나타나지 않는 실질적인 이점도 제공할 수 있습니다.

• 프롬프트와 생성된 콘텐츠를 로컬 머신에 유지할 수 있습니다.
• 사용량이 서비스 제공업체의 속도 제한이나 서비스 가용성에 종속되지 않습니다.
• 고정된 로컬 스택은 모델 서비스 변경에 대한 의존성을 줄일 수 있습니다.
• 하드웨어를 직접 보유하려면 여전히 상당한 초기 비용이 듭니다.
• 평가에는 에너지 사용량, 메모리 용량, 유지 관리도 포함해야 합니다.