FreeToken 설치: 단계별 엣지 서빙 설정

FreeToken은 대규모 Mixture-of-Experts (MoE) 모델을 위한 엣지 네이티브 서빙 시스템입니다. 게임, 다운로드 가능한 캐릭터 타이틀 또는 교환 코드 서비스가 아닙니다. 따라서 설치 과정은 GPU 추론, 호스트 메모리, CUDA 지원, 모델 스토리지 및 런타임 구성에 중점을 둡니다.

공개된 설계는 전체 전문가 풀이 사용 가능한 VRAM을 초과할 수 있는 개인용 컴퓨터, 워크스테이션 및 노트북을 대상으로 합니다. FreeToken은 라우팅된 전체 전문가 풀을 호스트 메모리에 유지하면서 GPU 메모리를 탄력적인 전문가 캐시로 사용합니다. 비전문가 가중치는 GPU에 남아 있으며, 다른 애플리케이션이 VRAM을 사용하거나 반환함에 따라 캐시 용량이 변경될 수 있습니다.

가장 중요한 구분은 용량과 성능 사이의 차이입니다. 전체 모델이 VRAM에 완전히 들어갈 필요는 없지만, 호스트는 전문가 풀을 보관하고 허용 가능한 지연 시간을 위해 충분한 전송 대역폭을 제공해야 합니다.

참고 시스템은 사양표상의 가정보다 하드웨어 균형이 더 중요하다고 보고합니다. PCIe 대역폭이 제한된 노트북은 더 많은 CPU 실행을 선호할 수 있으며, GPU 전송 대역폭이 더 강한 데스크톱은 더 많은 캐시 슬롯을 채우는 방식의 이점을 얻을 수 있습니다.

런타임을 확보하기 전에 머신과 모델 자산을 준비하세요. 공개된 시스템은 FreeToken Weight (FTW) 형식이라고 하는 정규화된 전문가 레이아웃을 사용합니다. 이 형식은 논리적인 레이어–전문가 식별자를 기준으로 전문가 뱅크를 구성하여 CPU 실행기와 GPU 캐시가 동일한 매핑을 사용할 수 있도록 합니다.

제공된 참고 자료에는 범용 변환 명령이나 패키지 관리자 지침이 없습니다. 다른 추론 엔진의 명령을 임의로 만들어 사용하지 마세요. 대신 공식 FreeToken 프로젝트 출시 채널과 연결된 최신 출시 문서가 제공되면 해당 문서를 사용하세요.

다음 준비 표를 사용하여 배포를 정리하세요.

FreeToken의 설계는 다음과 같은 중요한 런타임 동작을 지원합니다.

• 전체 레이어 더블 버퍼링은 프리필 중 전문가 전송과 GPU 계산을 겹쳐 실행합니다.
• 시맨틱 인식 상태 캐싱은 사고 블록, 도구 호출 및 대화 턴 주변의 유용한 접두사를 보존합니다.
• 공유 LRU 전문가 캐싱은 디코드 중 변화하는 토큰 수준 라우팅을 따라갑니다.
• 대역폭 적응형 실행은 캐시 누락을 PCIe 전송과 직접적인 CPU 실행으로 나눕니다.
• 탄력적 캐시 재구성은 엔진을 재시작하지 않고 스케줄러가 안전한 지점에서 GPU 전문가 캐시 예산을 변경합니다.

첫 배포에서는 단일 모델과 제어된 워크로드를 사용하세요. 여러 대형 체크포인트를 동시에 테스트하면 호스트 메모리 및 스토리지 요구 사항과 런타임 문제를 구분하기 어려워질 수 있으므로 피하는 것이 좋습니다.

다음 단계를 순서대로 따르세요. 이 순서는 환경 준비를 모델 변환 및 런타임 튜닝과 분리하므로 문제를 더 쉽게 진단할 수 있습니다.

초기 검증은 최고 처리량보다 기능에 중점을 두어야 합니다. 런타임이 콜드 캐시 상태에서 요청을 처리할 수 있는지 확인하세요. FreeToken은 설계상 별도의 워밍업 단계가 필요하지 않으며, 초기 요청이 일반 실행을 통해 캐시를 채울 수 있습니다.

FreeToken의 핵심 튜닝 개념은 호스트 측 대역폭과 PCIe 전송 대역폭의 관계입니다. 런타임은 다음 두 값을 측정하거나 프로파일링합니다.

• Bₚ: PCIe를 통한 고정 전문가 전송 대역폭.
• Bₕ: CPU 전문가 실행에 사용할 수 있는 유효 호스트 측 대역폭.

m개의 누락된 전문가가 있는 디코드 단계에서 시스템은 다음 관계를 사용하여 캐시 채우기 수를 추정합니다.

q* ≈ m × Bₚ / Bₕ

이는 사용자에게 제공되는 보장이나 고정된 하드웨어 규칙이 아닙니다. 동시 GPU 캐시 채우기와 CPU 실행의 균형을 맞추는 스케줄링 모델입니다. 적절한 분할은 노트북, 데스크톱, PCIe 구성, 메모리 채널 및 백그라운드 부하에 따라 달라집니다.

GPU 메모리 예산도 계획해야 합니다. FreeToken은 사용 가능한 VRAM을 KV 캐시와 전체 전문가 슬롯 사이에 나눕니다. 더 긴 컨텍스트는 KV 캐시 요구량을 증가시키지만, 더 큰 전문가 캐시는 디코드 누락을 줄일 수 있습니다. 시스템은 안전한 지점에서 전문가 캐시를 재구성할 수 있으므로 이 균형을 전체 세션 동안 고정할 필요는 없습니다.

참고 평가 결과는 보장된 성능으로 간주하지 않고도 유용한 규모 지표를 제공합니다. RTX 5090 테스트 시스템에서 FreeToken은 테스트된 워크로드 전반에서 Qwen3.6-35B에 대해 초당 77–83토큰, DeepSeek-V4-Flash에 대해 초당 22–25토큰을 보고했습니다. 결과는 모델 정밀도, 캐시 용량, 호스트 대역폭, 프롬프트 길이 및 백그라운드 애플리케이션에 따라 달라집니다.

기본 테스트에서 운영 환경과 유사한 로컬 엔드포인트 또는 에이전트 워크로드로 넘어가기 전에 이 체크리스트를 사용하세요.

FreeToken의 폴백 동작도 중요합니다. 운영 체제 또는 드라이버 제한으로 인해 전체 전문가 풀을 고정하거나 DMA에 등록할 수 없는 경우 런타임은 순수 CPU MoE 백엔드를 사용할 수 있습니다. 이는 배포 가능성을 높이지만 더 빠른 전송 경로를 포기해야 합니다. 비전문가 레이어는 GPU에 유지하면서 활성화 크기의 입력, 라우팅 메타데이터 및 출력은 디바이스 경계를 넘어 이동할 수 있습니다.

짧은 프롬프트 하나만으로 설치 품질을 판단하지 마세요. 프리필과 디코드는 시스템의 서로 다른 부분에 부하를 주며, 다중 턴 에이전트 세션은 컨텍스트 처리를 반복해서 추가합니다. 유용한 테스트 계획에는 짧은 요청 하나, 긴 프롬프트 하나, 반복 디코드 및 컨텍스트 편집 워크로드가 포함됩니다.