FreeToken deepseek: 로컬 AI 설정 가이드 및 벤치마크

FreeToken은 GPU, CPU, 호스트 메모리 및 이들 사이의 PCIe 연결을 활용해 대규모 혼합 전문가 모델을 실행하는 엣지 네이티브 추론 시스템입니다. FreeToken의 가장 유용한 DeepSeek 활용 사례는 DeepSeek-V4-Flash입니다. 이 모델은 각 토큰마다 모델 전문가의 일부만 활성화하지만, 전체 전문가 풀은 일반적인 소비자용 GPU 메모리보다 훨씬 큽니다.

모든 전문가를 VRAM에 상주시킬 필요 없이 FreeToken은 라우팅된 전체 전문가 풀을 호스트 메모리에 유지하고, 사용 가능한 GPU 메모리를 탄력적인 캐시로 사용합니다. 런타임은 필요할 때 전문가를 GPU로 이동하거나, 선택된 캐시 미스 전문가를 CPU에서 직접 실행할 수 있습니다. 이를 통해 전체 모델을 VRAM에 담을 수 없는 하드웨어에서도 로컬 실험이 가능해집니다.

동영상 주요 내용:

• RTX 3090급 구성에서의 단일 GPU DeepSeek-V4-Flash 테스트
• 데스크톱 애플리케이션 및 로컬 엔드포인트 워크플로
• 대화형 채팅을 위한 Open WebUI 연결
• 한 서버 구성에서 약 10~11 tokens per second로 보고된 디코드 성능
• 메모리 제한, 베타 동작 및 모델 호환성 경고

이 연구 설계는 서로 보완되는 두 가지 아이디어를 사용합니다. 프리필 단계에서 FreeToken은 전체 레이어 더블 버퍼링을 통해 전문가 전송과 GPU 계산을 겹쳐 실행합니다. 디코드 단계에서는 공유 LRU 전문가 캐시를 사용하므로 최근에 라우팅된 전문가가 GPU에 남아 있을 가능성이 높아집니다.

또한 이 시스템은 광고된 사양에만 의존하지 않고 대상 시스템을 직접 측정합니다. 호스트 메모리 대역폭과 PCIe 전송 대역폭에 따라 누락된 전문가 중 GPU로 복사할 수와 CPU에서 직접 처리할 수가 결정됩니다.

가장 중요한 구분은 활성 파라미터와 전체 저장 파라미터의 차이입니다. DeepSeek-V4-Flash는 284B 파라미터의 MoE 모델이며 토큰당 약 13B 파라미터가 활성화되는 것으로 설명됩니다. 희소 활성화는 각 토큰에 필요한 계산량을 줄이지만, 전체 전문가 집합은 여전히 시스템 어딘가에 저장되어 있어야 합니다.

참고 자료에서는 논문의 FP4 배포를 위한 강력한 목표 하드웨어로 RTX 5090을 제시합니다. 한편 실제 테스트에서는 호스트 메모리 오프로딩을 사용해 RTX 3090급 시스템에서 DeepSeek-V4-Flash를 실행하는 모습도 보여줍니다. 이는 서로 다른 구성인 만큼 두 결과를 동일한 벤치마크로 취급해서는 안 됩니다.

동영상의 단일 GPU 테스트에 따르면 시스템 메모리 32GB가 시작점이 될 수 있으며, 64GB 이상이면 더 안전한 운용 여유를 제공합니다. 연구 논문 역시 GPU를 완전히 활용한 이후에는 시스템 RAM, 메모리 속도 및 PCIe 대역폭이 병목 요인이 될 수 있다고 강조합니다.

DDR5는 호스트 측 전문가 실행과 PCIe 전송이 메모리 대역폭을 공유하기 때문에 구형 듀얼 채널 DDR4 플랫폼보다 의미 있는 이점을 제공할 수 있습니다. 다만 정확한 결과는 메인보드, 메모리 구성, CPU, 운영체제 및 실행 중인 애플리케이션에 따라 달라집니다.

데스크톱 워크플로는 수동 엔진 설정의 양을 줄이도록 설계되었습니다. 사용 가능한 배포판은 운영체제에 따라 달라지며, 참고된 테스트에서는 Windows, Ubuntu, AppImage, Arch Linux 및 데스크톱 애플리케이션 경로를 다룹니다.

지원되는 모델 형식을 사용하고 시작하기 전에 필요한 호스트 메모리를 확보했는지 확인하세요. 선택한 체크포인트가 현재 하드웨어 예산을 초과하면 FreeToken에서 사용 가능한 RAM과 VRAM이 부족하다고 표시할 수 있습니다.

API 서버가 준비되었다고 해서 다운로드한 모든 모델이 반드시 성공적으로 실행되는 것은 아닙니다. 테스트 기록에는 Qwen 3.8 27B BF16 구성의 실행 실패가 언급되어 있으며, 이는 모델 지원 여부와 메모리 적합성을 별도로 확인해야 하는 이유를 보여줍니다.

성능은 전문가 지역성, 캐시 용량, 호스트 대역폭 및 작업 부하의 상호작용에 따라 달라집니다. 에이전트형 작업은 컨텍스트를 반복적으로 다시 참조하고 활성 전문가 패턴을 변경하기 때문에, 짧은 단일 턴 프롬프트는 여러 턴의 코딩 또는 도구 사용 세션과 다른 결과를 낼 수 있습니다.

참고된 RTX 3090급 테스트에서 DeepSeek-V4-Flash는 서버 측 워크플로에서 초당 약 10~11 tokens의 속도에 도달했습니다. 한 테스트에서 데스크톱 클라이언트의 관측 결과는 약 8.8 tokens per second로 더 낮았습니다. 이러한 수치는 보편적인 목표가 아니라 특정 구성에 따른 결과입니다.

연구 평가에서는 최신 하드웨어에서 더 높은 성능을 보고합니다. RTX 5090에서 FreeToken은 나열된 에이전트형 작업 전반에서 DeepSeek-V4-Flash에 대해 약 22~25 tokens per second를 유지했습니다. 같은 논문에서는 정적 배치 전략보다 전역 LRU 캐시를 사용했을 때 캐시 미스율이 더 낮았다고 보고합니다.

FreeToken의 캐시는 세션 중 전문가 저장 공간과 KV 캐시 사이의 최적 분할이 달라지기 때문에 탄력적으로 작동합니다. 긴 대화는 더 많은 KV 캐시 메모리를 소비하고, 라우팅 패턴의 변화는 유지할 가치가 있는 전문가를 바꿉니다. 첫 번째 요청에서 잘 작동한 구성도 여러 턴이 지난 뒤에는 조정이 필요할 수 있습니다.

q-star 정책은 캐시 미스를 GPU 전송과 CPU 실행 사이에 분배합니다. 간단히 말하면 PCIe 대역폭이 더 강한 시스템은 더 많은 미스를 VRAM으로 복사할 수 있으며, 상대적으로 호스트 메모리 대역폭이 더 강한 시스템은 더 많은 미스를 해당 위치에서 직접 처리할 수 있습니다. FreeToken은 배포 시 이러한 값을 프로파일링합니다.

FreeToken은 로컬 MoE 서빙을 더 쉽게 만들어 주지만, 소프트웨어의 성숙도와 하드웨어 조건에 여전히 민감합니다. 참고 자료에서 테스트한 애플리케이션은 베타 소프트웨어로 명시되어 있으며, 다운로드한 모든 모델이 정상적으로 시작되는 것은 아닙니다.

모델이 예기치 않게 종료되면 먼저 기본적인 사항을 확인하세요. 모델 형식을 검증하고, 서버 로그를 살펴보며, 사용 가능한 메모리를 확인한 뒤 더 작은 지원 체크포인트를 테스트하세요. 실행 실패가 GPU 성능 부족을 의미한다고 단정하지 마세요. 호환성, 드라이버 동작, 고정 메모리 및 런타임 지원도 원인이 될 수 있습니다.

FreeToken 연구 논문에서는 기술 설계, 평가 방법론, 대역폭 적응형 실행, 의미 인식 캐싱 및 탄력적 메모리 관리에 대해 설명합니다.

FreeToken은 시스템 실험으로 접근할 때 가장 유용합니다. 안정적인 DeepSeek-V4-Flash 구성을 사용해 시작하고, 기준 성능을 설정한 다음 한 번에 하나의 변수만 변경하세요. 이 방법을 사용하면 하드웨어 한계와 모델 지원 문제를 더 쉽게 구분할 수 있습니다.