Servidor API de FreeToken: guía de configuración y consejos de ejecución

FreeToken es un sistema de servicio nativo del entorno edge para modelos grandes de mezcla de expertos con pesos abiertos. No es una plataforma de juegos ni de entretenimiento; su objetivo es exponer la inferencia local de modelos mediante un entorno de servicio que puedan utilizar aplicaciones y frameworks de agentes compatibles.

El sistema está diseñado en torno a una jerarquía de memoria de dos niveles. El conjunto completo de expertos permanece en la memoria del host, mientras que la GPU almacena los pesos que no pertenecen a expertos y una caché elástica de expertos enrutados. Esto permite ejecutar modelos más grandes que la VRAM disponible sin colocar permanentemente cada experto en la tarjeta gráfica.

Aspectos destacados del video:

• FreeToken se centra en la inferencia local para modelos MoE de escala avanzada.
• El desafío central consiste en mover o ejecutar los expertos ausentes de forma eficiente.
• Los resultados publicados abarcan GPU de consumo, portátiles y hardware de clase workstation.
• La compatibilidad del hardware importa más que el rendimiento máximo anunciado por sí solo.

Una forma útil de entender FreeToken es separar la capacidad del modelo de la computación activa. Un modelo MoE puede contener cientos de miles de millones de parámetros en total, pero cada token activa únicamente un pequeño subconjunto de expertos. El artículo de referencia describe DeepSeek-V4-Flash activando seis de los 256 expertos enrutados por capa, con aproximadamente 13 mil millones de parámetros activos de un total de 284 mil millones.

Esta escasez hace posible el servicio local, pero no elimina el problema de memoria. Todos los expertos deben permanecer accesibles porque el router puede seleccionar expertos diferentes para cada token. Por ello, FreeToken considera la política de caché y la planificación del ancho de banda como partes fundamentales del diseño del servidor API.

Antes de configurar el servidor API de FreeToken, confirma que la máquina coincide con el perfil de implementación previsto por el entorno de ejecución. El material público describe un entorno beta centrado en CUDA, con los mejores resultados en GPU NVIDIA recientes y suficiente memoria del host para albergar el conjunto completo de expertos.

Las comprobaciones más importantes son:

• Disponibilidad de una GPU NVIDIA y compatibilidad adecuada con CUDA.
• Memoria del sistema suficiente para el conjunto completo de expertos del modelo seleccionado.
• Una conexión PCIe capaz de mover los pesos de los expertos de forma eficiente.
• Ancho de banda de la memoria del host capaz de mantener la ejecución de expertos en la CPU.
• Capacidad de almacenamiento y velocidad de lectura adecuadas para los archivos del modelo.
• VRAM libre suficiente para los pesos no expertos y la caché del entorno de ejecución.

La evaluación del artículo abarca un portátil con RTX 4060, sistemas con RTX 3090 y RTX 4090, hardware RTX 5090 y una workstation con RTX PRO 6000. Estos resultados deben considerarse puntos de referencia, no garantías para todas las configuraciones.

Por ejemplo, los 39,3 tokens por segundo registrados en un portátil con RTX 4060 de 8 GB utilizan una compilación NVFP4 y una configuración de modelo específica. Un formato de modelo, controlador, distribución de memoria o carga de trabajo diferente puede producir un resultado distinto.

El servidor API también debe tener en cuenta la presión dinámica de memoria. Los navegadores, compositores de escritorio, juegos y otras aplicaciones pueden reclamar VRAM mientras FreeToken está en ejecución. Su enfoque de memoria elástica pretende redimensionar la caché de expertos en puntos seguros para el planificador, en lugar de requerir un reinicio completo del motor cada vez que cambia el presupuesto disponible.

Una configuración fiable comienza con el modelo y el plan de memoria, no con el ajuste del rendimiento. Sigue la secuencia siguiente para reducir los lanzamientos fallidos y hacer que las comparaciones posteriores sean significativas.

La secuencia de configuración es importante porque las principales ventajas de FreeToken aparecen durante un servicio sostenido. Un prompt corto puede no mostrar el valor de la reutilización de prefijos, los checkpoints semánticos o una caché adaptativa de expertos. Las cargas de trabajo de agentes en varios turnos editan repetidamente el contexto y enrutan tokens mediante combinaciones cambiantes de expertos, por lo que representan mejor los objetivos de diseño.

El mecanismo más distintivo de FreeToken es su caché LRU de expertos compartida. Durante la decodificación, el router identifica los expertos necesarios para el siguiente token y comprueba cuáles ya están residentes. Los aciertos de caché se ejecutan en la GPU. Las ausencias se dividen entre el llenado de la caché de la GPU y la ejecución directa en la CPU según el ancho de banda medido.

Esto difiere de una división fija por capas. Una política de colocación estática decide dónde viven los expertos antes de conocer los cambios del enrutamiento token a token. FreeToken, en cambio, permite que la residencia de la caché siga el comportamiento reciente del enrutamiento. Los resultados de reproducción citados muestran menores tasas de ausencia con la misma capacidad de caché, especialmente cuando la carga de trabajo presenta localidad de expertos a corto plazo.

La política q-star estima cuántas ausencias deben obtenerse mediante PCIe y cuántas deben ejecutarse en la CPU. La división se basa en la relación medida entre el ancho de banda de transferencia con memoria fijada y el ancho de banda de procesamiento de expertos en el host. Esto es importante porque un equipo de escritorio con DDR5 de doble canal y un portátil con LPDDR5 pueden tener comportamientos óptimos muy diferentes, incluso cuando sus GPU son similares.

Para el ajuste, prioriza la latencia de cola en lugar de fijarte únicamente en la velocidad media de decodificación. La evaluación informa de un TTFT del peor turno inferior a 44 segundos en todas las celdas probadas de FreeToken, mientras que algunas líneas base superaron los 150 segundos. En una integración real con un agente, una pausa larga puede activar un tiempo de espera del cliente o un supervisor de inactividad, aunque la cifra media de tokens por segundo parezca competitiva.

Aplica estas reglas prácticas:

• Mantén el sistema host libre de presión de memoria innecesaria.
• Compara pesos y precisión idénticos del modelo entre los distintos motores.
• Mide tareas de varios turnos, no solo prompts aislados.
• Registra la latencia del primer token y la latencia del peor turno.
• Anota el tamaño de la caché, la longitud del contexto y los límites de hilos de la CPU.
• Repite las pruebas después de que otras aplicaciones reclamen VRAM.

El artículo de investigación oficial de FreeToken proporciona la descripción técnica de la caché con consciencia semántica, el prellenado canalizado, la gestión elástica de memoria y la ejecución adaptativa al ancho de banda. Utilízalo como referencia cuando el comportamiento de la versión publicada difiera de los primeros resúmenes.

FreeToken resulta prometedor para un perfil de implementación específico, pero no es automáticamente la mejor opción para todos los usuarios de inferencia local. Se adapta especialmente bien a un sistema NVIDIA reciente con suficiente RAM, una carga de trabajo MoE y una razón para mantener la inferencia en local durante largos periodos.

Su estado público inicial también es importante. El proyecto cuenta con un historial público limitado en los materiales de 2026 proporcionados, y siguen siendo necesarias varias mejoras prácticas para una adopción más amplia, como una cobertura de hardware mayor, sistemas operativos adicionales, flujos de trabajo con dos GPU y formatos de modelos habituales.

El servicio local puede reducir la dependencia de los límites de uso de servicios alojados y mantener los prompts en el equipo del usuario, pero también transfiere la responsabilidad al operador. Protege las credenciales de la API, configura deliberadamente la dirección de escucha y evita exponer un endpoint sin autenticación a una red compartida.