FreeToken 4gb vram: 설정 가이드 및 하드웨어 한계

FreeToken은 개인용 하드웨어에서 대규모 Mixture-of-Experts 모델을 서빙하기 위한 연구 시스템입니다. 게임, 캐릭터 빌드 또는 다운로드 코드와 관련된 주제가 아닙니다. FreeToken 4gb vram의 핵심 질문은 매우 작은 GPU 메모리 예산으로도 추론에 참여할 수 있는지, 그리고 전체 전문가 풀이 다른 위치에 남아 있을 수 있는지에 관한 것입니다.

이 시스템은 모델 데이터를 크게 두 그룹으로 나눕니다. 비전문가 가중치는 GPU에 유지되고, 라우팅된 전문가 가중치는 CPU에 상주하는 풀에 저장됩니다. 남은 VRAM은 전체 레이어-전문가 항목을 위한 탄력적인 캐시가 됩니다. 이 설계를 통해 전체 전문가 풀이 GPU 용량을 초과하더라도 모델을 실행할 수 있지만, 일반적으로 VRAM이 적을수록 캐시 미스가 늘어나고 PCIe 전송 또는 CPU 실행에 대한 의존도가 커집니다.

원본 논문은 8GB 노트북 GPU부터 워크스테이션급 하드웨어까지 다양한 하드웨어에서 평가한 결과를 문서화하고 있습니다. 테스트된 4GB 구성은 확인하지 않습니다. 따라서 4GB 설정은 보장된 배포 대상이 아니라 제약이 있는 실험으로 보아야 합니다.

FreeToken은 2단계 전문가 메모리 계층 구조를 사용합니다. 호스트는 라우팅된 전체 전문가 풀을 보관하고, GPU는 공유 LRU 캐시를 유지합니다. 각 캐시 슬롯에는 하나의 레이어-전문가 쌍을 평가하는 데 필요한 텐서가 저장됩니다. 이러한 논리적 구성 덕분에 캐시는 시작 시 고정된 전문가 배치에 의존하지 않고 라우팅 동작을 따라갈 수 있습니다.

디코딩 중에는 라우터가 활성 전문가를 식별합니다. 캐시된 전문가는 GPU에서 직접 실행됩니다. 캐시되지 않은 전문가는 두 그룹으로 나뉩니다. 일부는 GPU 캐시 슬롯으로 전송되고, 나머지는 CPU에 상주하는 풀에서 직접 실행됩니다. 이 분할은 보편적인 하드웨어 사양이 아니라 측정된 대역폭을 기반으로 결정됩니다.

논문에서는 근사 채움 비율을 다음과 같이 정의합니다.

q* ≈ m × BP / BH

여기서 m은 캐시되지 않은 전문가의 수이고, BP는 측정된 고정 메모리 전송 대역폭이며, BH는 측정된 CPU 측 전문가 처리 대역폭입니다. 실제 의미는 간단합니다. PCIe 전송이 빠를수록 더 많은 캐시를 채우는 방식이 유리하고, CPU 메모리 대역폭이 강할수록 CPU에서 직접 실행하는 방식이 더 유용합니다.

4GB GPU의 작업 공간은 문서화된 8GB 노트북 등급보다 훨씬 작습니다. 이 차이는 캐시할 수 있는 전문가 수뿐만 아니라 더 많은 요소에 영향을 줍니다. 동일한 메모리 예산으로 GPU 상주 모델 구성 요소와 컨텍스트 관련 상태도 수용해야 합니다. 대화나 에이전트 세션이 길어지면 KV 캐시 수요가 증가하고 전문가 캐시 용량을 유지하기가 더 어려워질 수 있습니다.

캐시 공간이 줄어들면 FreeToken에서 콜드 미스, 작업 집합 변동 및 호스트-디바이스 간 이동이 더 많이 발생할 수 있습니다. 시스템의 CPU 실행 경로는 일부 미스를 흡수하는 데 도움이 되지만, 호스트 메모리에서 전문가 가중치를 읽는 비용까지 제거하지는 않습니다. 따라서 성능은 모델 형식, 프롬프트 길이, CPU 대역폭, PCIe 링크, 운영체제 메모리 동작 및 동시에 실행되는 애플리케이션에 따라 달라집니다.

원본 자료에 따르면 8GB 노트북 구성은 공식 NVFP4 릴리스를 사용해 Qwen3.6을 서빙했으며, 측정 가능한 디코드 성능을 지속적으로 유지했습니다. 이 결과는 참고점으로 유용하지만 4GB에 직접 적용해서는 안 됩니다. 더 작은 GPU에서는 KV 캐시와 전문가 캐시 사이를 더 공격적으로 분할해야 할 수 있으며, 일부 모델 구성은 실용적인 런타임을 실행할 충분한 공간을 남기지 못할 수도 있습니다.

유용한 평가 순서는 짧은 단일 턴 요청으로 시작하는 것입니다. 그런 다음 더 긴 프롬프트를 테스트하고, 컨텍스트를 변경하는 여러 턴을 이어서 시험하세요. 이렇게 하면 콜드 스타트 동작과 지속적인 디코드 동작을 분리할 수 있으며, 메모리 수요가 변할 때 GPU 캐시가 계속 효과적으로 작동하는지 확인할 수 있습니다.

가장 중요한 준비 단계는 실행을 제한하는 자원이 무엇인지 파악하는 것입니다. FreeToken은 엔진을 재시작하거나 호스트 상주 풀을 다시 로드하지 않고도 스케줄러의 안전 지점에서 전문가 캐시를 조정하도록 설계되었습니다. 브라우저, 데스크톱 컴포지터 및 기타 애플리케이션이 사용 가능한 VRAM을 변경할 수 있는 개인용 컴퓨터에서는 이러한 유연성이 특히 중요합니다.

호스트 측 풀도 최적화된 레이아웃의 이점을 얻습니다. 논문에서는 런타임에 적합한 뱅크 배열로 전문가 가중치를 저장하는 FreeToken Weight 형식을 설명합니다. 최종 호스트 레이아웃으로 직접 읽으면 시작 작업을 줄일 수 있으며, 지연된 메모리 고정은 빈 페이지를 불러온 직후 덮어쓰는 일을 방지합니다.

FreeToken의 설계는 MoE 모델에서 “수용 가능하다”는 의미를 바꿉니다. 비활성 전문가는 호스트 메모리에 남아 있을 수 있으므로 모델의 모든 전문가가 한 번에 VRAM에 상주해야 하는 것은 아닙니다. 그러나 주소 지정 가능한 메모리 계층에 모델을 수용하는 것과 대화형 속도로 서빙하는 것은 서로 다릅니다. 모든 캐시 미스는 스케줄링 결정과 메모리 대역폭 비용을 발생시킵니다.

시스템은 이러한 비용을 줄이기 위해 여러 메커니즘을 결합합니다.

• 전체 레이어 이중 버퍼링은 프리필 전송과 GPU 계산을 중첩합니다.
• 시맨틱 인식 상태 캐싱은 에이전트 편집 경계 주변의 순환 상태와 프리픽스를 보존합니다.
• 공유 LRU 전문가 캐싱은 디코드 단계 전체에서 최근 라우팅 지역성을 따릅니다.
• 대역폭 적응형 실행은 캐시 미스를 GPU 캐시 채우기와 CPU 실행으로 분할합니다.
• 탄력적 메모리 관리는 조건이 변함에 따라 전문가 캐시와 KV 캐시의 분할을 조정합니다.

4GB 시스템에 대한 가장 안전한 결론은 조건부입니다. FreeToken의 아키텍처는 제한된 GPU 메모리에서 실험할 수 있는 경로를 제공하지만, 현재 이용 가능한 자료는 4GB를 공식적이거나 일반적으로 실용적인 목표로 확립하지 않습니다. 런타임이 필요한 GPU 구성 요소를 위한 충분한 메모리를 확보하지 못하거나 캐시 변동으로 인해 지연 시간이 허용할 수 없는 수준이 된다면, 그 한계는 단순한 설정 오류가 아니라 아키텍처와 하드웨어에 따른 문제입니다.