FreeToken 배포: 단계별 로컬 AI 설정 가이드

FreeToken 배포는 소비자용 하드웨어에서 오픈 웨이트 Mixture-of-Experts 모델을 실행하기 위한 로컬 AI 서빙 설정입니다. GPU를 유일한 리소스로 취급하는 대신, FreeToken은 GPU 메모리, 시스템 RAM, CPU 리소스 및 사용 가능한 인터커넥트 대역폭을 조정합니다. 이러한 설계 덕분에 데스크톱에서도 대형 모델을 보다 쉽게 사용할 수 있지만, 최종 사용 경험은 모델과 하드웨어 구성에 크게 좌우됩니다.

공식 FreeToken GitHub 저장소는 이 프로젝트를 엣지 네이티브 MoE 서빙 엔진으로 설명합니다. 런타임에는 대역폭 적응형 CPU–GPU 공동 실행, 더블 버퍼링 프리필 스트리밍, 글로벌 전문가 캐싱, 그래프 호환 실행 및 FTW 고속 가중치 형식이 포함됩니다.

영상 주요 내용:

• Windows 및 Linux 데스크톱 설치 경로
• 단일 고메모리 GPU를 사용한 로컬 모델 로딩
• 대형 MoE 모델에 필요한 시스템 RAM
• 브라우저 기반 채팅 인터페이스 연결
• 초당 토큰 수를 활용한 실제 성능 확인

데스크톱 애플리케이션은 엔진 설정의 상당 부분을 처리하고 모델 다운로드, 엔드포인트 실행, 채팅 및 런타임 옵션 조정을 위한 그래픽 워크플로를 제공하므로 가장 간단한 시작 방법입니다. 명령줄 경로는 더 많은 제어 기능을 제공하며, 반복 가능한 배포, 개발 환경 및 로그를 직접 확인하려는 사용자에게 더 적합합니다.

성공적인 FreeToken 배포에서 가장 중요한 부분은 모델을 사용 가능한 메모리에 맞추는 것입니다. 단일 GPU만으로도 유용한 로컬 추론을 수행할 수 있지만, 선택한 모델이 VRAM에 완전히 들어가지 않는 경우 시스템 RAM이 필수적입니다. 대형 MoE 모델은 전문가 가중치와 런타임 데이터가 호스트 메모리와 GPU 사이를 이동하므로 높은 메모리 대역폭의 이점도 얻을 수 있습니다.

실제적인 배포 계획을 세우려면 설치 전에 다음 네 가지 값을 기록해야 합니다.

• GPU VRAM 및 컴퓨팅 성능
• 전체 시스템 RAM 및 사용 가능한 여유 RAM
• RAM 세대 및 유효 메모리 속도
• 모델의 예상 메모리 사용량

참고 테스트에서는 단일 RTX 3090을 사용했으며 대형 MoE 모델에서 대화형 성능을 확인했습니다. 그러나 보고된 출력 속도는 활성화된 전문가와 런타임 조건에 따라 달라졌습니다. 데스크톱 구성과 서버 측 구성에서도 서로 다른 결과가 나왔으므로 벤치마크 기대치는 유연하게 설정해야 합니다.

테스트 경험을 통해 충분한 호스트 메모리를 함께 사용하면 단일 3090에서도 높은 요구 사항의 MoE 모델을 실행할 수 있음을 확인했습니다. 또한 모델 선택이 중요한 이유도 드러났습니다. 테스트 구성에서는 밀집형 27B BF16 모델이 실행되지 않았으며, 다른 대형 모델은 시스템 RAM과 VRAM을 합쳐 훨씬 더 많은 메모리를 필요로 했습니다.

다음 과정은 데스크톱 애플리케이션을 위한 일반적인 배포 경로로 사용할 수 있습니다. 첫 실행은 보수적으로 진행하세요. 사용 가능한 메모리에 맞는 모델을 사용하고, 불필요한 백그라운드 작업을 피하며, 채팅 클라이언트를 열기 전에 API 서버가 준비되었는지 확인해야 합니다.

터미널 워크플로를 선호하는 사용자는 저장소에서 uv 또는 pip를 통한 설치를 지원하며, 개발을 위해 소스 설치도 사용할 수 있습니다. 종속성 변경이 다른 로컬 AI 프로젝트에 영향을 주지 않도록 환경을 격리하세요.

FreeToken 성능은 하나의 고정된 수치로 표현할 수 없습니다. 생성 속도는 활성 전문가, 모델 아키텍처, 프롬프트 길이, 메모리 배치 및 런타임 구성에 따라 달라집니다. 참고 테스트에서는 한 구성에서 대화형 작업 기준으로 초당 약 10~11토큰이 생성되었으며, 다른 테스트 구성의 데스크톱 환경에서는 초당 약 8.8토큰으로 더 낮은 결과가 나왔습니다. 이러한 수치는 유용한 예시일 뿐 모든 환경에 적용되는 보장은 아닙니다.

반복 가능한 테스트 절차를 사용하세요.

1. 동일한 모델을 다시 시작하거나 다시 로드합니다.
2. 동일한 짧은 프롬프트를 보냅니다.
3. 첫 번째 응답이 완료될 때까지 기다립니다.
4. 프롬프트 처리 및 생성 동작을 기록합니다.
5. 하드웨어나 인터페이스를 비교하기 전에 테스트를 반복합니다.

런타임의 캐싱 동작은 MoE 작업에서 특히 중요합니다. 전문가 캐싱은 반복적인 로딩을 줄일 수 있으며, 의미 인식 캐싱은 지원되는 에이전트 워크플로에서 불필요한 컨텍스트 재계산을 방지하도록 설계되었습니다. 그러나 캐시 동작은 여전히 사용 가능한 메모리와 작업 부하에 따라 달라집니다. 시스템이 데이터를 자주 제거하기 시작하면 생성 속도의 일관성이 떨어질 수 있습니다.

실행 실패가 항상 설치 결함을 의미하는 것은 아닙니다. 가장 일반적인 원인은 지원되지 않는 모델 형식, 사용 가능한 메모리 부족, 종속성 문제 또는 다른 애플리케이션과의 리소스 경쟁입니다. 테스트된 워크플로에서 FreeToken은 베타 소프트웨어로 설명되므로 간헐적인 호환성 문제를 해결하려면 재시작, 로그 검토 또는 이슈 보고가 필요할 수 있습니다.

다음 문제 해결 표를 사용해 문제의 범위를 좁혀 보세요.

반복 가능한 배포를 위해 각 테스트와 함께 모델 이름, 애플리케이션 버전, 운영 체제, 메모리 구성 및 클라이언트 설정을 저장하세요. 이렇게 하면 모델의 제한과 설치 문제를 구분하기가 쉬워집니다. 한 모델은 반복적으로 실패하지만 다른 모델은 정상적으로 실행된다면, 프로젝트 이슈를 열기 전에 원본 서버 로그를 보존하세요.

가장 안전한 업그레이드 경로는 점진적으로 진행하는 것입니다.

• 지원되고 관리하기 쉬운 모델로 설치를 검증합니다.
• 채팅 및 엔드포인트 기능을 확인합니다.
• 메모리를 많이 사용하는 모델은 한 번에 하나씩 테스트합니다.
• 벤치마크마다 성능 변수는 하나만 변경합니다.
• 비교를 위해 정상적으로 작동하는 모델을 유지합니다.

가장 좋은 배포 습관은 FreeToken을 원클릭 성능 프리셋이 아니라 구성 가능한 로컬 추론 엔진으로 다루는 것입니다. 현실적인 모델로 시작하고, 엔드포인트를 확인하며, 반복 가능한 프롬프트로 측정하고, 시스템의 한계를 이해하면서 점진적으로 확장하세요.