Lanzamientos de FreeToken: guía de configuración de 2026 y cambios clave

El lanzamiento de FreeToken de 2026 presenta un motor de inferencia local diseñado para hacer más prácticos en hardware personal los modelos de mezcla de expertos de escala punta de lanza. En lugar de exigir que todos los pesos de los expertos permanezcan en la memoria de la GPU, el sistema mantiene el conjunto completo de expertos en la memoria del sistema y utiliza la VRAM disponible como una caché elástica.

El artículo de investigación del proyecto, FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution, se publicó el 24 de agosto de 2026. El artículo identifica el lanzamiento como un sistema de serving, no como un modelo nuevo. Su objetivo es mejorar la forma en que los modelos MoE de pesos abiertos existentes se cargan, almacenan en caché y ejecutan en hardware de consumo.

Aspectos destacados del video:

• FreeToken está orientado al serving local de modelos con cantidades muy grandes de parámetros.
• El enrutamiento dinámico determina qué expertos deben permanecer en la memoria de la GPU.
• La ejecución en la CPU y las transferencias PCIe se equilibran según el ancho de banda medido.
• Los resultados publicados incluyen hardware de clase portátil, sobremesa y estación de trabajo.

FreeToken divide la inferencia en dos fases importantes: prefill y decode. Prefill procesa el prompt existente o el contexto de la conversación, mientras que decode genera nuevos tokens uno a uno. Cada fase tiene un cuello de botella diferente, por lo que el runtime utiliza técnicas distintas.

Durante el prefill, es posible acceder a muchos expertos a lo largo de un contexto extenso. FreeToken utiliza doble búfer para capas completas con el fin de transmitir los expertos de la siguiente capa mientras la GPU trabaja en la capa actual. Esto puede ocultar parte del tiempo de transferencia detrás del cálculo. El diseño también almacena puntos de control en límites semánticos, como segmentos de razonamiento, llamadas a herramientas y turnos de conversación. Cuando un agente edita su contexto, puede que solo sea necesario recalcular el sufijo modificado.

Durante el decode, el enrutamiento es disperso, pero cambia con cada token. Una ubicación estática elegida al inicio puede no contener con frecuencia los expertos activos. En su lugar, FreeToken utiliza una caché LRU compartida que sigue el comportamiento reciente del enrutamiento entre capas.

La política de ancho de banda es una de las ideas definitorias del lanzamiento. Sea Bₚ el ancho de banda de transferencia PCIe medido y Bₕ el ancho de banda efectivo de procesamiento de expertos en el sistema. El runtime estima cuántos expertos ausentes deben transferirse a la caché de la GPU y cuántos deben ejecutarse directamente desde la CPU.

Este enfoque evita tratar cada fallo como una transferencia. Una transferencia puede ser útil porque el experto puede permanecer en la caché para tokens posteriores, pero la ejecución en CPU puede ser más rápida cuando todavía hay ancho de banda disponible en el sistema o cuando la capacidad de la caché es limitada.

La evaluación publicada en 2026 compara FreeToken con motores de serving para el edge mantenidos activamente en seis máquinas y varias cargas de trabajo agénticas. Los resultados son más sólidos en sistemas con GPU NVIDIA modernas, suficiente memoria del sistema y un equilibrio adecuado entre el ancho de banda de memoria de la CPU y la capacidad de transferencia PCIe.

En una RTX 5090, el artículo informa de 77–83 tokens por segundo para Qwen3.6-35B y 22–25 tokens por segundo para DeepSeek-V4-Flash. En un portátil con RTX 4060 y una configuración de 8 GB, el resultado publicado para Qwen3.6 alcanza 39.3 tokens por segundo. Una RTX PRO 6000 de clase estación de trabajo sirve GLM-5.2 a 14.9 tokens por segundo, frente a 7.3 para la configuración indicada de llama.cpp.

La latencia de cola también es importante. La evaluación informa de que el peor turno de FreeToken se mantuvo por debajo de 44 segundos en las celdas probadas, mientras que los sistemas de referencia superaron retrasos considerablemente mayores en algunos casos. En aplicaciones agénticas, esto puede determinar si una solicitud termina antes de que un watchdog o un tiempo de espera del cliente la interrumpa.

Sin embargo, los benchmarks deben interpretarse con la debida cautela. Las mediciones fueron producidas por los autores, y el material disponible no establece una replicación independiente amplia. Las comparaciones principales también requieren prestar atención a las definiciones de medición, especialmente al comparar el rendimiento de decode con trazas de producción de extremo a extremo.

El lanzamiento de 2026 debe abordarse como un sistema en una fase inicial. Los clasificadores publicados indican un estado de desarrollo beta, un entorno CUDA y sistemas operativos Linux POSIX. El material de plataforma disponible no establece una versión nativa para Apple Silicon, compatibilidad amplia con macOS ni la cobertura de hardware asociada con runtimes para el edge más maduros.

La dirección declarada del proyecto incluye un formato de pesos FTW, kernels compatibles con CUDA, implementaciones SIMD para CPU y un backend MoE de respaldo completamente basado en CPU cuando la memoria fijada o el registro DMA no están disponibles. Estas funciones mejoran la flexibilidad, pero no garantizan un rendimiento equivalente entre sistemas operativos o tarjetas gráficas.

Para una primera evaluación, comienza con un modelo que se ajuste a tu presupuesto de memoria del sistema y una carga de trabajo breve y controlada. Registra el tiempo de inicio, el tiempo hasta el primer token, la tasa de decode estable, el comportamiento de la caché y la latencia del peor turno. Después, repite la prueba mientras ejecutas aplicaciones de escritorio normales para observar cómo se comporta la gestión elástica de memoria bajo presión.

FreeToken no es un sustituto universal para todos los motores de inferencia local. Su caso de uso más sólido es el de un usuario técnicamente competente o un equipo pequeño que posee hardware NVIDIA adecuado, trabaja con modelos MoE y valora el control local, la disponibilidad predecible y una menor dependencia de la inferencia alojada.

El sistema puede ser menos adecuado cuando la amplitud de plataformas es la prioridad. Los usuarios que dependen de Apple Silicon, tarjetas NVIDIA antiguas, dispositivos no compatibles con CUDA o una instalación multiplataforma sencilla deberían verificar la compatibilidad antes de invertir tiempo en la migración.

La importancia más amplia del lanzamiento es arquitectónica. Trata el hardware de consumo como un sistema combinado en lugar de evaluar la memoria de la GPU de forma aislada. Su caché de expertos, la coejecución en CPU, los puntos de control semánticos y el ajuste de memoria durante la ejecución abordan distintas partes del mismo problema: hacer utilizables los modelos dispersos grandes fuera de los centros de datos dedicados.