FreeToken 설정 가이드: 엣지 MoE 서빙 단계별 안내

FreeToken은 대규모 Mixture-of-Experts 모델을 위한 엣지 네이티브 서빙 시스템입니다. 실용적인 설정은 활성 연산과 전체 모델 저장 공간을 분리하는 것에서 시작합니다. 각 토큰을 처리하는 전문가는 일부에 불과하지만, 라우팅된 전체 전문가 풀은 호스트 메모리 또는 다른 스토리지 계층에서 계속 사용할 수 있어야 합니다.

참조 설계에서는 전체 전문가 풀을 CPU 메모리에 유지하고, 비전문가 가중치는 GPU에 둡니다. 남은 VRAM은 MoE 레이어 전체에서 공유되는 탄력적인 전문가 캐시가 됩니다. 호스트 메모리와 인터커넥트 예산이 적절하다면, 이 방식으로 전체 가중치가 사용 가능한 VRAM을 초과하는 모델도 일반 소비자용 컴퓨터에서 서빙할 수 있습니다.

이 FreeToken 설정 가이드를 단일 명령어 레시피가 아니라 배포 순서로 활용하세요. 현재 제공된 참조 자료는 시스템 설계와 평가를 설명하며, 릴리스별 설치 세부 사항은 2026년에 공개된 FreeToken 프로젝트 페이지에서 확인해야 합니다.

FreeToken은 두 가지 주요 추론 단계에 서로 다른 전략을 사용합니다. 프리필은 프롬프트를 처리하며 첫 토큰까지의 시간에 큰 영향을 줍니다. 디코드는 한 번에 하나씩 토큰을 생성하므로 전문가 캐시 미스와 호스트 대역폭에 더 민감합니다.

프리필 중 시스템은 전체 레이어 이중 버퍼링을 사용합니다. GPU가 한 레이어를 계산하는 동안 다음 레이어의 전문가가 PCIe를 통해 스트리밍됩니다. 이를 통해 전송과 연산을 겹치게 하여 전체 전문가 이동 시간이 GPU 유휴 시간으로 노출되는 것을 방지합니다. 캐시에 전체 레이어 버퍼 두 개를 확보할 여유가 없으면 VRAM 과잉 할당을 피하기 위해 온디맨드 로딩으로 전환합니다.

에이전트 세션은 의미 기반 상태 캐싱의 이점도 얻을 수 있습니다. 사고 구간, 도구 호출, 도구 출력, 대화 전환과 같은 경계에 체크포인트를 배치합니다. 하네스가 대화 기록의 전체 블록을 수정할 때 런타임은 보존된 접두부를 재사용하고 새 접미부만 다시 계산할 수 있습니다.

디코드 중에는 공유 LRU 캐시에 이미 있는 라우팅된 전문가가 GPU에서 실행됩니다. 누락된 전문가는 두 경로로 나뉩니다.

• 캐시 채우기 경로: 선택된 전문가를 PCIe를 통해 전송하고 GPU에서 실행한 다음, 이후 재사용을 위해 유지합니다.
• CPU 경로: 다른 누락된 전문가를 GPU 상주 상태를 변경하지 않고 호스트 상주 풀에서 직접 실행합니다.
• 병합 경로: 정확한 MoE 계산을 유지하면서 GPU와 CPU의 부분 출력을 결합합니다.

대략적인 캐시 채우기 전문가는 다음과 같이 계산됩니다.

q* ≈ m × BP / BH

여기서 m은 누락된 전문가 수, BP는 측정된 고정 전송 대역폭, BH는 측정된 호스트 측 전문가 처리 대역폭입니다. 런타임은 결과를 반올림하며, CPU 실행이 대부분의 캐시 미스를 처리하는 경우에도 캐시 예열을 계속 진행합니다.

CPU에 상주하는 전문가 풀은 계속해서 기준 저장소 역할을 하므로 GPU 캐시 용량은 모델의 정확성이 아니라 성능을 변화시킵니다. 브라우저, 데스크톱 애플리케이션 및 기타 GPU 워크로드가 세션 중 사용 가능한 VRAM 예산을 바꿀 수 있는 개인용 컴퓨터에서는 특히 중요합니다.

FreeToken은 엔진을 재시작하거나 호스트 풀을 다시 로드하지 않고도 스케줄러의 안전 지점에서 GPU 전문가 캐시를 재구축할 수 있습니다. 캐시는 MoE 레이어 전체에서 공유되며 논리적인 레이어-전문가 식별자를 사용하므로, 상주 상태와 실행이 현재 라우팅된 워킹 세트를 따를 수 있습니다.

스토리지 측면에서 참조 설계는 전문가 뱅크를 런타임에 적합한 레이아웃으로 정규화하는 FreeToken Weight 형식을 도입합니다. 사전 포맷된 뱅크를 사용하면 엔진이 정렬된 청크를 정확한 크기의 호스트 버퍼로 직접 읽을 수 있어, 시작 시 텐서 탐색과 재패킹 작업을 줄일 수 있습니다. 플랫폼에서 필요한 고정 또는 등록 메모리 경로를 설정할 수 없는 경우 런타임은 순수 CPU MoE 백엔드를 사용할 수 있으며, 최대 전송 성능을 낮추는 대신 더 폭넓은 배포 가능성을 제공합니다.

실제 병목을 드러내는 지표로 배포를 검증하세요. 디코드 처리량은 현재 전문가 워킹 세트가 얼마나 효율적으로 처리되는지를 보여 주며, 첫 토큰까지의 시간은 프리필 전송 및 재계산 비용을 나타냅니다. 에이전트 클라이언트에서는 단 한 번의 긴 턴만으로도 다른 측면에서는 허용 가능한 설정이 사용할 수 없는 것처럼 느껴질 수 있으므로 테일 지연 시간도 중요합니다.