FreeToken 앱: 로컬 MoE 추론 설정 가이드

FreeToken 앱은 소비자용 하드웨어에서 대규모 오픈 웨이트 Mixture-of-Experts 모델을 실행하기 위한 로컬 추론 인터페이스이자 엔진입니다. 전체 모델이 GPU 메모리에 들어가야 하는 방식 대신, GPU, CPU, 시스템 RAM, PCIe 연결을 하나의 유연한 실행 플랫폼으로 조정합니다.

FreeToken은 모델이 사용 가능한 VRAM에 비해 너무 크지만 컴퓨터의 나머지 자원으로는 실행 가능한 경우에 특히 유용합니다. 데스크톱 애플리케이션에서는 호환 모델을 그래픽 인터페이스로 확인하고, 대화를 시작하며, 엔진 설정을 조정할 수 있습니다. 명령줄 버전은 개발 및 벤치마킹 작업에 더 세밀한 제어 기능을 제공합니다.

영상 주요 내용:

• FreeToken은 특정 MoE 작업에서 Ollama 및 llama.cpp와 같은 도구의 대안으로 소개됩니다.
• 이 엔진은 모델 레이어를 하나의 장치에 영구적으로 할당하는 대신 GPU 전문가 캐싱을 사용합니다.
• Q-star 스케줄링은 누락된 전문가를 GPU로 이동할지 CPU에서 실행할지를 결정합니다.
• 이중 버퍼링 프리필은 계산과 전문가 전송을 겹쳐서 처리합니다.
• 성능은 VRAM 용량, PCIe 대역폭, RAM 속도, 모델 형식에 크게 좌우됩니다.

이 프로젝트는 오픈 소스 Apache License 2.0 프로젝트로 유지 관리됩니다. 공식 문서와 설치 리소스는 FreeToken GitHub 저장소에서 확인할 수 있습니다.

Mixture-of-Experts 모델은 수천억 개의 전체 매개변수를 포함하면서도 각 토큰에 대해 그중 일부만 활성화할 수 있습니다. 이러한 희소성은 계산량을 줄일 수 있지만 메모리 문제를 없애지는 않습니다. 전체 모델은 여전히 어딘가에 저장되어 있어야 합니다.

FreeToken은 GPU 메모리를 활성 전문가 캐시로 취급합니다. 시스템 RAM은 전체 모델의 기준 저장소로 유지되고, 자주 요청되는 전문가는 GPU에 더 가까운 위치에 보관됩니다. 라우터는 인접한 토큰에서 동일한 전문가를 자주 재사용하므로, 비교적 작은 핫 세트만으로도 작업량의 상당 부분을 처리할 수 있습니다.

프롬프트 처리 과정은 프리필이라고도 하며, 긴 입력은 광범위한 전문가에 접근할 수 있습니다. FreeToken은 각 전송이 완료될 때까지 기다린 후 처리를 계속하는 대신 데이터 이동과 계산을 겹쳐서 이 문제에 대응합니다.

생성 과정에서 엔진은 캐시 누락을 처리해야 합니다. 한 시스템에서는 PCIe를 통해 전문가를 가져오는 것이 유리할 수 있지만, 다른 시스템에서는 CPU에서 직접 계산하는 편이 더 나을 수 있습니다. Q-star 정책은 RAM과 PCIe 대역폭 사이의 로컬 균형을 측정하고 현재 작업량에 적합한 분할 방식을 선택합니다.

이 엔진에는 반복 상태와 키-값 캐시를 위한 시맨틱 앵커 체크포인트도 포함되어 있습니다. 이러한 기능은 에이전트형 워크플로에서 도구 호출이나 사고 블록을 통해 컨텍스트를 편집할 때 불필요한 컨텍스트 재계산을 줄이는 것을 목표로 합니다.

공식 프로젝트는 Windows 및 Linux용 데스크톱 앱과 Python 기반 CLI 설치를 지원합니다. 런타임을 어떻게 사용할지에 따라 한 가지 경로를 선택하세요.

현재 데스크톱 앱은 Windows와 Linux용으로 제공됩니다. 로컬 시스템에서 실행 가능해 보이는 모델을 표시할 수 있지만, 현재 워크플로는 코딩 중심 통합 기능과 동일한 프로젝트 폴더 또는 파일 수정 기능을 제공하지 않을 수 있습니다.

가장 중요한 판단 기준은 모델이 GPU 메모리에 여유 있게 들어가는지 여부입니다. 들어간다면 FreeToken의 스트리밍 및 스케줄링 오버헤드를 피할 수 있는 기존의 완전 상주 GPU 구성이 더 빠를 수 있습니다. 모델이 VRAM을 초과한다면 FreeToken은 필요한 전문가만 이동시키면서 수학적 연산을 GPU에서 계속 수행할 수 있습니다.

보고된 워크스테이션 비교 결과는 이러한 차이를 보여줍니다. 32GB GPU에서 약 38GB로 추정되는 8비트 Qwen 모델을 사용했을 때, 레이어 분할 구성은 동일한 코딩 작업에서 초당 약 58토큰을 기록한 반면 FreeToken은 초당 약 132토큰을 기록했습니다. 작업 소요 시간은 각각 약 14분 20초와 4분 40초였습니다.

동일한 비교에서 32GB VRAM에 들어가는 4비트 버전은 다른 결과를 보였습니다. 완전 GPU 상주 구성은 초당 약 240토큰을 기록했고, FreeToken은 초당 약 225토큰을 기록했습니다. 이러한 수치는 보편적인 목표가 아니라 하드웨어와 작업량에 따라 달라지는 결과입니다.

FreeToken은 서버가 실행 중일 때 GPU 전문가 캐시 크기를 조정하는 기능도 지원합니다. 인용된 테스트에서는 캐시를 58%에서 40%로 줄여도 속도 저하는 크지 않았지만, 약 20% 미만으로 낮추자 PCIe 트래픽이 포화되면서 성능이 훨씬 더 크게 떨어졌습니다.

대규모 로컬 모델을 평가하기 전에 이 체크리스트를 사용하세요. 사용 가능한 모델 중 가장 큰 모델이 항상 최선의 선택이라고 가정하기보다 호환성과 측정에 초점을 맞춥니다.