FreeToken rtx 5090: Guía de configuración, resultados y consejos

FreeToken es un runtime de inferencia nativo del edge, no un modelo de IA nuevo. En una RTX 5090, su objetivo principal es servir modelos grandes de mezcla de expertos cuyos conjuntos completos de expertos no caben en la memoria de la GPU. El runtime mantiene el modelo completo en la memoria del host y utiliza la GPU como una caché de trabajo adaptativa.

Este enfoque es importante porque los modelos MoE activan solo una fracción de sus parámetros totales para cada token. DeepSeek-V4-Flash, por ejemplo, aparece con 284 mil millones de parámetros totales y aproximadamente 13 mil millones de parámetros activos. El cálculo activo puede caber en la capacidad de memoria práctica de una GPU de gama alta, pero el checkpoint completo todavía requiere mucho más almacenamiento en otro lugar.

Aspectos destacados del vídeo:

• FreeToken está diseñado para modelos MoE sobredimensionados, no para todas las cargas de trabajo de modelos locales.
• Según los informes, una sola RTX 5090 superó los 20 tokens por segundo con DeepSeek-V4-Flash.
• El runtime combina el almacenamiento en caché de expertos, las transferencias superpuestas y la ejecución en CPU.
• Las sesiones largas de agentes de programación revelan diferencias mayores que los prompts sintéticos breves.

La ruta acelerada de FreeToken se centra actualmente en Linux, sistemas x86-64, GPU NVIDIA, CUDA 13 y un controlador reciente. El proyecto destaca el hardware de las series RTX 30, 40 y 50, situando la RTX 5090 dentro de su principal rango objetivo.

La GPU es solo una parte de la configuración. El conjunto completo de expertos debe residir en la memoria del sistema cuando supera la VRAM. Una RTX 5090 no reduce el requisito total de memoria del modelo; mejora la coordinación de los recursos disponibles de GPU, CPU, RAM y PCIe.

La configuración de investigación también distingue entre el ancho de banda PCIe y el ancho de banda de procesamiento de expertos en el host. Estos valores deben medirse en el ordenador real, en lugar de inferirse únicamente a partir de las especificaciones del producto.

La evaluación de 2026 mide el rendimiento de decodificación y el tiempo hasta el primer token en cargas de trabajo de matemáticas, agentes de programación, protocolos nativos y correo/calendario. Esto es importante porque un agente cambia repetidamente su contexto, llama a herramientas y envía nuevas solicitudes. Un prompt breve de una sola interacción no muestra el mismo comportamiento de prefilling y caché.

En una RTX 5090, FreeToken mantuvo aproximadamente entre 77 y 83 tokens por segundo con Qwen3.6-35B-A3B y entre 22 y 25 tokens por segundo con DeepSeek-V4-Flash en las cargas de trabajo probadas. La ventaja registrada frente a las alternativas compatibles más competitivas osciló aproximadamente entre 1,5x y 2,3x, según el modelo y el escenario.

Los resultados de la RTX 5090 son más sólidos cuando el modelo es más grande que la VRAM disponible de la GPU. La caché LRU compartida de FreeToken sigue la localidad de enrutamiento entre tokens, mientras que su política de ancho de banda decide cómo servir a los expertos que no están en la caché.

La evaluación informa de que la caché de FreeToken falló aproximadamente en el 16 % de las lecturas de expertos de Qwen3.6 y el 39 % de las lecturas de DeepSeek-V4-Flash con la capacidad de servicio probada en la RTX 5090. Los enfoques de ubicación comparables mostraron tasas de fallos superiores en las mismas trazas reproducidas.

FreeToken organiza la memoria en una jerarquía. El conjunto de expertos residente en el host almacena los pesos completos de los expertos enrutados, mientras que los pesos que no pertenecen a expertos permanecen en la GPU. La VRAM restante se convierte en una caché de expertos compartida que puede dividirse de distintas formas a medida que cambia la sesión.

Durante el prefilling, el runtime utiliza doble búfer de capas completas cuando la memoria lo permite. Mientras la GPU procesa una capa, los expertos de la siguiente pueden transferirse mediante PCIe. Esto oculta parte del coste de transferencia detrás del cálculo activo. Durante la decodificación, el runtime utiliza una caché LRU compartida para realizar un seguimiento de los expertos seleccionados por las decisiones de enrutamiento recientes.

Un fallo de caché no se trata como una única operación fija. FreeToken calcula una división entre:

• Cargas en la caché de la GPU, que transfieren los expertos ausentes mediante PCIe y los conservan para reutilizarlos.
• Ejecución directa en la CPU, que procesa los expertos allí donde ya residen sus pesos.
• Ejecución simultánea, que permite que ambas rutas contribuyan al token actual.

Esta división depende del ancho de banda medido del host y del ancho de banda PCIe. Un equipo de escritorio con una conectividad PCIe sólida puede favorecer más cargas en la caché de la GPU, mientras que un sistema con mayor ancho de banda de memoria del host puede realizar más trabajo directamente en la CPU.

El runtime también admite la reconfiguración dinámica en puntos seguros del planificador. Como la memoria del host sigue siendo la fuente de verdad, cambiar la capacidad de la caché de la GPU afecta al rendimiento, pero no a la corrección del modelo. Esto resulta útil en ordenadores personales donde los navegadores, las aplicaciones de escritorio y otras cargas de trabajo de GPU pueden modificar el presupuesto de VRAM disponible.

FreeToken no es un sustituto universal de llama.cpp, Ollama o KTransformers. Su fortaleza proviene de la especialización. El proyecto se centra en checkpoints MoE grandes, aceleración NVIDIA, expertos residentes en el host y servicio orientado a agentes.

Llama.cpp ofrece una compatibilidad más amplia con hardware y sistemas operativos, incluidas rutas para CPU, NVIDIA, AMD y Apple Silicon. También cuenta con un amplio ecosistema GGUF y una madurez considerable. Ollama pone el énfasis en una gestión accesible de modelos locales, mientras que KTransformers se orienta a la ejecución híbrida CPU-GPU para familias de modelos compatibles.

La mejor opción depende de si tu modelo cabe en la VRAM y de si tu carga de trabajo es interactiva o está orientada a agentes.

Para obtener información técnica, consulta el artículo de investigación de FreeToken en arXiv y la versión del proyecto mencionada por los autores en flashml.ai. Estos enlaces ofrecen la base más sólida para comprobar los modelos compatibles, los cambios de implementación y las indicaciones de despliegue a medida que el proyecto evoluciona.