FreeToken 초당 토큰 수: 2026년 벤치마크 가이드

FreeToken 초당 토큰 수는 프롬프트 처리가 끝난 후 로컬에서 제공되는 언어 모델이 출력을 생성하는 속도, 즉 디코드 처리량을 의미합니다. 이는 첫 번째 토큰까지 걸리는 시간, 프롬프트 처리 속도, 전체 응답 시간과는 다른 지표입니다. 대화형 채팅에서는 답변이 표시되는 동안 사용자가 주로 체감하는 수치가 바로 디코드 처리량입니다.

FreeToken은 대규모 혼합 전문가 모델을 위한 엣지 네이티브 서빙 시스템입니다. 이 시스템은 전체 전문가 풀을 호스트 메모리에 유지하면서, 사용 가능한 GPU 메모리를 탄력적인 전문가 캐시로 활용합니다. 따라서 성능은 그래픽 카드뿐 아니라 시스템 전체에 의해 결정됩니다.

영상 하이라이트:

• 단일 RTX 3090 환경에서 약 10~11 디코드 토큰/초를 기록했습니다.
• 이후 테스트에서 데스크톱 클라이언트는 약 8.8 토큰/초를 보고했습니다.
• 시스템 RAM 용량과 대역폭이 주요 성능 요인으로 확인되었습니다.
• 백그라운드 애플리케이션은 사용 가능한 VRAM을 줄이고 처리량에 영향을 줄 수 있습니다.

공개된 FreeToken 연구 논문은 측정된 호스트 메모리와 PCIe 대역폭에 맞춰 시스템이 실행 방식을 조정한다고 설명합니다. 이것이 동일한 GPU를 사용하는 두 컴퓨터에서도 결과가 눈에 띄게 달라질 수 있는 이유입니다.

현재 이용 가능한 테스트에서는 서버 측 측정값과 데스크톱 클라이언트 측 측정값 사이에 실질적인 차이가 나타납니다. 단일 RTX 3090에서 DeepSeek V4 Flash는 일반적인 채팅 프롬프트를 처리할 때 초당 10~11토큰 수준을 유지했습니다. 별도의 데스크톱 클라이언트 실행에서는 초당 8.8토큰이 보고되었습니다. 이 수치는 유용한 참고 기준이지만 보편적으로 보장되는 등급은 아닙니다.

차이는 클라이언트 오버헤드, 운영 체제 동작, 모델 설정, 백그라운드 프로세스 또는 측정 편차에서 발생할 수 있습니다. 사고 모드도 작업 부하를 변화시킵니다. 최대 추론으로 생성된 응답은 짧고 직접적인 답변보다 표시되는 출력 속도가 낮고 완료 과정이 더 길 수 있습니다.

연구 평가에서 최신 하드웨어가 더 높은 결과를 보인 것은 최적화된 서빙 런타임, 측정된 대역폭 스케줄링, 특정 벤치마크 조건을 사용했기 때문입니다. 이러한 수치를 소비자용 데스크톱 예상치에 그대로 적용해서는 안 됩니다.

유용한 비교 방법은 각 구성에서 동일한 모델, 프롬프트 유형, 컨텍스트 크기, 생성 설정으로 테스트하는 것입니다. 한 번의 완료 결과에 의존하지 말고 여러 응답을 기록하세요. MoE 라우팅은 토큰마다 달라지므로 개별 결과에는 변동이 생길 수 있습니다.

FreeToken에서는 성능 논의의 중심이 순수한 GPU 연산 능력에서 메모리 이동으로 상당 부분 이동합니다. 혼합 전문가 모델은 각 토큰마다 매개변수의 일부만 활성화하지만, 전체 전문가 풀이 시스템 메모리에 계속 준비되어 있어야 할 수 있습니다. 전문가가 GPU에 캐시되어 있지 않으면 런타임은 해당 전문가를 PCIe를 통해 전송하거나 CPU에서 직접 실행할 수 있습니다.

따라서 시스템 메모리 용량이 중요합니다. 테스트에 따르면 일부 로컬 구성에서는 32GB가 시작점이 될 수 있지만, 64GB가 더 여유로운 환경을 제공합니다. 더 큰 모델에는 훨씬 더 많은 메모리가 필요할 수 있습니다. 연구 자료에서는 특히 프런티어급 모델을 위해 수백 GB의 호스트 메모리가 필요한 배포 환경도 설명합니다.

연구 논문은 전문가 전송에 대한 플랫폼 수준의 대략적인 차이를 보고합니다. PCIe 4.0 x16을 사용하는 RTX 4090 및 RTX 3090급 시스템은 프리필 과정에서 대규모 전문가 세트를 이동하는 데 수 초가 걸릴 수 있으며, 더 좁은 노트북 링크에서는 더 오래 걸릴 수 있습니다. 디코드 동작은 캐싱과 CPU 공동 실행이 전송 비용의 일부를 숨길 수 있기 때문에 다르게 나타납니다.

깔끔한 테스트 환경도 중요합니다. 불필요하게 GPU를 많이 사용하는 소프트웨어를 종료하고, 여러 모델 서비스를 동시에 실행하지 않으며, 운영 체제를 위한 충분한 RAM을 남겨 두세요. 런타임에서 RAM 또는 VRAM 부족을 보고하는 경우 초당 토큰 수에 대한 기대치를 낮추는 것만으로는 로딩 문제가 해결되지 않습니다. 먼저 모델 구성이 시스템에 맞아야 합니다.

이 과정을 사용해 신뢰할 수 있는 로컬 기준값을 측정하세요. 목표는 비정상적으로 높은 수치 하나를 추구하는 것이 아니라, 변화를 설명할 수 있는 반복 가능한 테스트를 만드는 것입니다.

데스크톱 클라이언트와 서버 연결 인터페이스를 비교할 때는 각각 별도로 테스트하세요. 현재 결과에 따르면 데스크톱 경로는 편리하지만 측정 속도는 더 낮을 수 있습니다. 그렇다고 모든 작업에서 모델이 자동으로 더 느리다는 뜻은 아닙니다. 인터페이스와 런타임 경로를 기록해야 한다는 의미입니다.

FreeToken의 가장 큰 장점은 GPU 메모리, 호스트 메모리, CPU 실행, PCIe 전송을 조율하는 데서 나옵니다. 따라서 실질적인 튜닝은 모델을 변경하거나 더 높은 출력 속도를 기대하기 전에 피할 수 있는 리소스 경합을 제거하는 것부터 시작해야 합니다.

현재 테스트에서는 소프트웨어 성숙도도 고려 사항으로 확인됩니다. FreeToken은 베타 소프트웨어로 설명되어 있으며, 테스트 중 하나의 밀집 Qwen 구성이 예기치 않게 종료되었습니다. 모델 실행 실패는 초당 토큰 수 결과가 아니라 호환성 또는 리소스 문제로 판단해야 합니다.

문제를 해결하려면 로그를 확인하고, 모델이 지원하는 형식을 검증하며, 운영 체제와 다른 애플리케이션이 사용한 메모리를 제외한 뒤 사용 가능한 메모리를 확인하세요. 그런 다음 런타임을 다시 시작하고 테스트를 반복하세요. 한 번의 실행 실패를 모든 모델 구성이 호환되지 않는다는 증거로 해석하지 마세요.