- FreeToken gguf는 Gemma-4를 기본 지원하며, 목록에 있는 대부분의 모델은 Hugging Face safetensors를 사용합니다.
- 가장 적합한 사용 사례: 사용 가능한 GPU VRAM을 초과하지만 시스템 메모리에는 저장할 수 있는 대형 MoE 체크포인트입니다.
- 핵심 장점: 적응형 전문가 캐싱, CPU 작업 및 PCIe 전송을 통해 토큰 사이의 대기 시간을 줄일 수 있습니다.
- 주요 제한 사항: 가속 설정은 Linux, NVIDIA GPU, CUDA 13 및 x86-64 시스템에 초점을 둡니다.
- 중요한 확인 사항: FreeToken이 해당 아키텍처와 형식을 지원하지 않는 한 GGUF 파일이 자동으로 호환되는 것은 아닙니다.
FreeToken gguf 호환성 설명
FreeToken은 AI 모델이 아니라 로컬 추론 엔진입니다. 이 엔진의 목적은 사용 가능한 하드웨어에서 지원되는 체크포인트를 실행하는 것이며, 특히 전체 가중치를 VRAM에 저장할 수 없는 대형 전문가 혼합 모델을 대상으로 합니다. 현재 모델 문서에 따르면 FreeToken은 Hugging Face safetensors 체크포인트를 직접 로드하며, Gemma-4에 대한 네이티브 GGUF를 지원합니다.
따라서 “FreeToken gguf”를 보편적인 GGUF 호환성으로 해석해서는 안 됩니다. GGUF는 모델 컨테이너 형식이지만, 런타임에는 여전히 일치하는 아키텍처 지원, 커널 및 로딩 로직이 필요합니다. 체크포인트를 변환하거나 다운로드하기 전에 공식 FreeToken 모델 문서를 확인하세요.
동영상 하이라이트:
- FreeToken은 모든 로컬 추론 작업이 아니라 대규모 MoE 모델을 대상으로 합니다.
- 적응형 전문가 캐싱은 자주 사용되는 전문가를 VRAM에서 즉시 사용할 수 있도록 유지합니다.
- 하이브리드 실행은 GPU 전송과 CPU 계산을 결합할 수 있습니다.
- 공개된 테스트에는 그래픽 카드의 한계를 넘어 실행된 대형 모델 사례가 포함되어 있습니다.
| 형식 또는 출처 | 현재 FreeToken 처리 방식 | 실제 의미 |
|---|---|---|
| Hugging Face safetensors | 검증된 체크포인트를 직접 로드 | 목록에 있는 모델 제품군을 사용하는 기본 경로 |
| GGUF | Gemma-4에 대한 네이티브 지원이 문서화됨 | 모든 GGUF 모델이 로드된다고 가정하지 말 것 |
| 변환된 FreeToken 체크포인트 | 선택 가능한 빠른 로드 형식 | ft serve --model이 결과 형식을 자동으로 감지할 수 있음 |
| 지원되지 않는 아키텍처 | 문서화된 보장 없음 | 변환하기 전에 모델 지원 여부를 확인할 것 |
파일 확장자만으로는 호환성을 확인할 수 없습니다. FreeToken 배포를 준비하기 전에 모델 제품군, 체크포인트 구조, 양자화 방식 및 문서화된 백엔드 지원을 확인하세요.
지원 모델 및 런타임 백엔드
문서에 명시된 모델 목록에서는 DeepSeek-V4와 GLM-5.2를 정상 작동이 확인된 Hugging Face 체크포인트로 소개합니다. 또한 문서에서는 전문가가 어디에 저장되고 캐시 미스가 어떻게 처리되는지를 결정하는 여러 MoE 백엔드에 대해 설명합니다.
auto 설정은 모델 유형에 따라 기본값을 선택합니다. Dense 모델은 fused로 결정되며, MoE 모델은 일반적으로 offload를 사용하고 시스템 벤치마크에서 권장하는 경우 hybrid로 전환할 수 있습니다.
fused
전문가는 GPU에 상주합니다. 사용 가능한 VRAM이 충분할 때 효율적일 수 있지만, 가장 많은 GPU 메모리가 필요합니다.
offload
전문가는 호스트 RAM에 저장되고, LRU 캐시는 선택된 전문가 슬롯을 GPU에 유지합니다. 캐시 미스가 발생하면 PCIe를 통해 스트리밍됩니다.
hybrid
각 단계에서 일부 전문가는 PCIe를 통해 가져오고 다른 전문가는 CPU에서 계산할 수 있으며, 하드웨어가 이러한 분할에 적합한 경우 작업을 중첩할 수 있습니다.
| 백엔드 | 전문가 위치 | 가장 적합한 상황 |
|---|---|---|
fused | GPU VRAM | 모델과 현재 작업이 GPU에 여유 있게 들어가는 경우 |
offload | GPU 캐시가 있는 호스트 RAM | 대형 MoE 모델이 VRAM 용량을 초과하는 경우 |
cpu | CPU가 캐시 미스를 처리 | 반복적인 전송보다 CPU 메모리 대역폭이 유리한 경우 |
hybrid | CPU 및 PCIe 전송 | 벤치마크에서 혼합 경로가 더 빠른 것으로 나타난 경우 |
auto | 자동 선택 | 지원되는 모델에서 합리적인 시작점 |
FreeToken의 설계는 모델이 그래픽 카드보다 크지만 전체 시스템 메모리에는 저장할 수 있을 때 특히 유용합니다. 고정된 분할에 의존하는 대신 GPU 계산, CPU 계산, RAM 용량 및 PCIe 대역폭을 하나의 시스템으로 취급합니다.
하이브리드 실행을 사용하기 전에 시스템마다 한 번씩 ft bench bw를 실행하세요. 결과로 생성된 대역폭 프로필은 캐시 미스에 대해 데이터를 가져오는 방식과 CPU 계산 중 어느 쪽이 더 적합한지 FreeToken이 추정하는 데 도움을 줍니다.
지원되는 체크포인트를 위한 FreeToken 설정 단계
설정을 시작하기 전에 호스트가 문서에 명시된 조건인 Linux, x86-64 컴퓨터, NVIDIA GPU, CUDA 13 및 최신 드라이버를 충족하는지 확인하세요. 프로젝트에서는 RTX 30, RTX 40 및 RTX 50 시리즈 카드를 주요 대상으로 언급하지만, 실제 성능은 모델 크기, 양자화 방식, RAM, VRAM, CPU 속도 및 PCIe 대역폭에 따라 달라집니다.
체크포인트 확인
공식 문서에 나열된 모델부터 시작하세요. 예를 들어 지원되는 DeepSeek-V4 또는 GLM-5.2 Hugging Face 체크포인트를 사용할 수 있습니다. GGUF의 경우 아키텍처가 명시적으로 지원되는지 확인하세요. 문서에 소개된 네이티브 예시는 Gemma-4입니다.
메모리 용량 확인
전체 체크포인트를 VRAM과 시스템 RAM에 나누어 저장할 수 있는지 확인하세요. 8GB GPU라고 해서 모델의 전체 저장 공간 요구량이 8GB로 줄어드는 것은 아닙니다.
시스템 벤치마크 실행
ft bench bw를 사용하여 로컬 메모리 및 전송 동작을 측정하세요. 이를 통해 offload, cpu 또는 hybrid 중 어떤 MoE 경로가 더 적합한지 판단할 수 있습니다.
선택 사항인 빠른 로드 형식 준비
더 빠른 로딩이 필요한 경우에만 문서화된 체크포인트 변환을 실행하세요. 변환은 선택 사항이며, 서빙 명령은 결과 형식을 자동으로 감지할 수 있습니다.
실행 및 모니터링
ft serve --model로 모델을 시작하고, 긴 컨텍스트나 반복적인 에이전트 요청 중 메모리 사용량, 첫 토큰 지연 시간, 생성 속도 및 안정성을 확인하세요.
| 설정 확인 항목 | 확인할 내용 | 중요한 이유 |
|---|---|---|
| 운영 체제 | Linux 중심의 가속 경로 | 현재 지침은 모든 데스크톱 환경에 적용되는 보편적인 설정이 아님 |
| GPU | 적합한 드라이버가 설치된 NVIDIA 카드 | 문서화된 가속은 NVIDIA와 CUDA를 중심으로 함 |
| CUDA | CUDA 13 | 문서화된 명령줄 설정에 필요함 |
| 시스템 RAM | 오프로드된 가중치를 저장하기에 충분한 용량 | 나머지 모델 가중치도 저장될 공간이 필요함 |
| 체크포인트 | 지원되는 아키텍처와 형식 | 로딩은 파일 확장자뿐 아니라 런타임 지원에 따라 결정됨 |
긴 컨텍스트나 에이전트 작업을 시작하기 전에 모델 로딩과 짧은 프롬프트를 테스트하세요. 이렇게 하면 긴 세션을 시작하지 않고도 체크포인트, 드라이버 및 메모리 문제를 발견할 수 있습니다.
성능, 메모리 및 llama.cpp 비교
FreeToken의 가장 강력한 사용 사례는 모든 로컬 런타임을 대체한다는 데 있지 않습니다. 이 엔진은 전체 가중치가 VRAM을 초과하는 대형 MoE 모델을 실행하는 데 특화되어 있습니다. 활성 전문가를 캐시하고, 전송과 계산을 중첩하며, 호스트 시스템에 따라 GPU 전송과 CPU 작업 중 하나를 선택할 수 있습니다.
제공된 자료에 설명된 테스트 결과에는 RTX 5090에서 Qwen3.6-35B-A3B가 초당 약 77–83토큰, 테스트된 작업에서 DeepSeek-V4 Flash가 초당 약 22–25토큰을 기록한 사례가 포함됩니다. 8GB VRAM과 32GB 시스템 메모리를 갖춘 RTX 4060 노트북은 공식 4비트 Qwen 체크포인트를 사용하여 초당 39.3토큰에 도달한 것으로 보고되었습니다. 이러한 수치는 보고된 결과이며 모든 구성에서 보장되는 성능은 아닙니다.
| 작업 조건 | FreeToken의 관련성 | 비교 참고 사항 |
|---|---|---|
| 모델이 VRAM에 완전히 들어가는 경우 | 낮음 | 이미 성숙한 런타임이 매우 빠른 성능을 낼 수 있음 |
| MoE 모델이 VRAM을 초과하는 경우 | 높음 | 전문가 캐싱과 오프로드가 핵심이 됨 |
| 긴 에이전트 컨텍스트 | 높음 | 반복적인 도구 호출에서 전송 지연이 드러날 수 있음 |
| CPU 전용 작업 | 제한적 | FreeToken은 범용 CPU 실행기로 포지셔닝되지 않음 |
| Apple Silicon 설정 | 불명확 | 제공된 자료에는 이에 상응하는 경로가 문서화되어 있지 않음 |
llama.cpp와의 비교는 작업 부하에 따라 달라집니다. llama.cpp는 대규모 GGUF 생태계를 포함하여 훨씬 더 다양한 운영 체제, 프로세서, GPU 및 모델 형식을 지원합니다. FreeToken은 더 새롭고 범위가 좁지만, 이러한 집중적인 설계는 NVIDIA 기반의 대형 MoE 배포에 유용할 수 있습니다.
에이전트 환경에서 생성 속도는 여러 지표 중 하나일 뿐입니다. 짧은 합성 프롬프트보다 첫 토큰 지연 시간, 컨텍스트 재사용, 도구 호출 응답 시간 및 장시간 세션 안정성이 더 중요할 수 있습니다. 몇 분씩 멈추는 현상을 피하는 런타임은 초당 토큰 수의 대표 수치가 비슷하더라도 더 반응성이 좋게 느껴질 수 있습니다.
공개된 수치와 커뮤니티 측정값은 특정 구성에 해당하는 결과로 받아들이세요. 결론을 내리기 전에 동일한 모델, 양자화 방식, 프롬프트 길이, 컨텍스트 크기, 하드웨어, 백엔드 및 메모리 배치를 기준으로 비교해야 합니다.
검증 체크리스트 및 FAQ
FreeToken gguf 워크플로 또는 지원되는 체크포인트를 평가할 때 이 체크리스트를 사용하세요. 목표는 성능을 조정하기 전에 호환성과 시스템 적합성을 확인하는 것입니다.
사전 점검:
- 모델 아키텍처가 FreeToken 문서에 표시되어 있는지 확인
- 체크포인트가 Hugging Face safetensors 또는 지원되는 네이티브 GGUF를 사용하는지 확인
- 시스템 RAM, GPU VRAM 및 사용 가능한 저장 공간 측정
- 하이브리드 실행을 선택하기 전에 ft bench bw 실행
- 긴 컨텍스트 또는 에이전트 작업 전에 짧은 프롬프트 테스트
| 신호 | 정상적인 결과 | 실패 시 조치 |
|---|---|---|
| 모델 로딩 | 형식 오류 없이 체크포인트가 초기화됨 | 아키텍처와 체크포인트 구조를 다시 확인 |
| VRAM 사용량 | 캐시와 컨텍스트를 위한 여유 공간이 남음 | 캐시 부담을 줄이거나 다른 백엔드 선택 |
| 첫 토큰 지연 시간 | 반복 요청에서 안정적임 | 전송, 컨텍스트 길이 및 RAM 부담을 점검 |
| 생성 속도 | 선택한 작업에서 일관됨 | 동일한 프롬프트로 백엔드 선택지를 비교 |
| 긴 컨텍스트 | 심각한 멈춤이나 메모리 부족이 없음 | 컨텍스트 크기를 줄이거나 시스템 용량을 검토 |
Q: FreeToken은 모든 GGUF 모델을 지원하나요?
보편적인 지원이 확립된 것은 아닙니다. 문서에서는 Gemma-4에 대한 네이티브 GGUF 지원을 명시하고 있으며, 목록에 있는 대부분의 체크포인트는 Hugging Face safetensors를 사용합니다. 다른 GGUF 파일을 사용하기 전에 아키텍처 지원 여부를 확인하세요.
Q: FreeToken은 모든 컴퓨터에서 llama.cpp보다 더 나은가요?
아닙니다. llama.cpp는 더 폭넓은 하드웨어, 운영 체제 및 GGUF를 지원합니다. FreeToken은 지원되는 NVIDIA 시스템에서 GPU VRAM을 초과하는 대형 MoE 모델에 더욱 특화되어 있습니다.
Q: 8GB GPU로 8GB보다 큰 모델을 실행할 수 있나요?
충분한 시스템 RAM이 나머지 가중치를 저장하고 체크포인트가 지원되는 경우 가능할 수 있습니다. 그래도 전체 모델은 컴퓨터 전체에서 총 저장 공간을 필요로 합니다.
Q: DeepSeek-V4 체크포인트가 실패하면 어떻게 해야 하나요?
문서화된 모델 인수가 해당 위치에서 읽히므로 inference/config.json 하위 디렉터리가 그대로 존재하는지 확인하세요.
문서화된 체크포인트로 시작하고, 메모리 요구 사항을 검증한 다음, 실제 시스템에서 벤치마크를 실행하세요. GGUF라는 레이블 자체보다 형식 지원과 하드웨어 동작이 더 중요합니다.
공식 FreeToken 모델 문서는 지원되는 체크포인트, 백엔드 플래그, 변환 참고 사항 및 모델별 요구 사항을 확인할 수 있는 기준 자료입니다.