벤치마크
FreeToken 벤치마크
소비자용 GPU, 노트북 및 워크스테이션에서 측정한 실제 초당 토큰 처리 결과입니다. 정확한 테스트 조건과 함께 프리필 및 디코드 처리량을 제공합니다.
벤치마크란 무엇인가요?
벤치마크는 소비자용 노트북, 게이밍 PC 및 워크스테이션 GPU에서 FreeToken의 성능을 측정하며, 초당 토큰 수, 프리필 및 디코드 속도, 메모리 사용량, CPU-GPU 대역폭에 중점을 둡니다. 모든 결과에는 정확한 테스트 조건이 기재되어 있으며, ft bench bw를 사용하면 자신의 컴퓨터에서 오프로딩과 하이브리드 MoE 실행 중 어떤 방식을 선택할지 결정할 수 있습니다.
벤치마크를 읽어야 하는 이유
1
현실적인 기대치 설정
사용 중인 GPU 등급에서 실제로 기대할 수 있는 tokens/s를 확인하세요
2
구매 전에 비교
RTX 3090, 4090 및 5090의 처리량을 예산과 비교해 보세요
3
설정 조정
ft bench bw 결과를 활용하여 오프로딩과 하이브리드 실행 중 적합한 방식을 선택하세요
추천 및 필수
모든 벤치마크
기술 가이드
FreeToken 290b 모델: 2026 엣지 MoE 설정 가이드
적응형 캐싱, 대역폭 스케줄링, 탄력적 메모리를 통해 FreeToken이 소비자용 하드웨어에서 프런티어급 MoE 모델을 서비스하는 방법을 알아보세요.
튜토리얼
FreeToken 753b 모델: 설정 가이드 및 MoE 튜닝 팁
FreeToken이 로컬 환경에서 753B GLM-5.2를 제공하는 방법을 알아보세요. 설정, 메모리 페이징, MoE 캐싱, 벤치마크 및 실용적인 튜닝 조언을 다룹니다.
가이드
FreeToken 벤치마크: 로컬 MoE 서빙 설정 가이드
FreeToken 벤치마크, 로컬 MoE 서빙 설계, 하드웨어 요구 사항, 설치 과정 및 측정된 성능 결과를 살펴봅니다.