FreeToken qwen: Guía de configuración local de Qwen MoE

FreeToken es un motor de inferencia local diseñado para modelos de lenguaje grandes basados en una mezcla de expertos, o MoE. En el contexto de FreeToken qwen, su caso de uso más destacado es ejecutar un modelo Qwen3.6–35B en hardware de consumo con memoria GPU limitada.

La carga tradicional de modelos coloca la mayoría o la totalidad de los pesos del modelo en la memoria de la GPU. Este enfoque se vuelve difícil cuando un modelo tiene muchos más parámetros totales que la VRAM disponible. FreeToken utiliza una estrategia diferente: almacena el conjunto completo de pesos en la RAM del sistema y mantiene en la GPU una caché de trabajo más pequeña con los expertos activos o utilizados recientemente.

Los modelos MoE hacen esto posible porque no activan todos los expertos para cada token. Una red de enrutamiento selecciona únicamente un subconjunto de expertos en cada paso de inferencia. El informe de 2026 mencionado indica que Qwen3.6–35B activa aproximadamente 3B de parámetros por token, a pesar de tener un número total de parámetros mucho mayor.

Un modelo denso de 35B puede requerir una cantidad considerable de memoria incluso antes de tener en cuenta la sobrecarga del tiempo de ejecución. El material de referencia contrasta este comportamiento con el de MoE: un modelo Qwen3.6–35B puede activar solo una pequeña parte de sus parámetros totales para cada token, pero los expertos inactivos aún deben almacenarse en algún lugar.

FreeToken separa el almacenamiento de la ejecución. La RAM del sistema actúa como almacén principal de los pesos, mientras que la memoria de la GPU funciona como una caché más rápida. Cuando el enrutador selecciona un experto que no está almacenado actualmente en la caché, el motor decide si debe transferirlo mediante PCIe o ejecutar el trabajo correspondiente a través de la CPU.

Este diseño es importante porque las decisiones de enrutamiento cambian de un token a otro. Una política de descarga fija puede funcionar bien en una máquina y mal en otra. En cambio, FreeToken perfila el hardware local una vez durante el primer inicio y utiliza la relación de ancho de banda medida para influir en sus decisiones de programación.

La estrategia descrita depende del hardware. Una GPU de escritorio de gama alta con una conexión PCIe rápida puede favorecer las transferencias, mientras que una GPU portátil de 8 GB puede beneficiarse de gestionar más fallos de caché mediante la CPU. Estas decisiones no deben copiarse ciegamente entre sistemas, ya que el ancho de banda de la memoria, la capacidad de la RAM, la generación de PCIe y el rendimiento del procesador influyen en el resultado.

La cobertura disponible de 2026 informa de varias cifras de referencia para FreeToken en modelos MoE grandes. El resultado más relevante para los usuarios de Qwen es de 39.3 tokens por segundo para Qwen3.6–35B en una GPU de 8 GB. Estas cifras deben considerarse resultados reportados, no una garantía para todos los equipos.

El rendimiento no se limita a la velocidad de decodificación. En aplicaciones interactivas, la latencia del primer token puede ser más importante que la generación en régimen estable. El informe describe segmentos de contexto con puntos de control para marcos de agentes, lo que permite a FreeToken reutilizar el trabajo de prellenado anterior en lugar de recalcular miles de tokens sin cambios después de cada edición.

La misma cobertura informa de una latencia máxima del primer token inferior a 44 segundos en su comparación de referencia, frente a 232 segundos para llama.cpp y 946 segundos para KTransformers. El resultado exacto depende de la carga de trabajo y de la configuración del sistema, por lo que es mejor utilizarlo como indicación del objetivo de optimización y no como una referencia universal.

Según algunos informes, pruebas independientes han situado una configuración cuantizada comparable de Qwen3.6 35B cerca de la velocidad de decodificación principal de FreeToken con llama.cpp. Esta comparación resalta una distinción importante: el valor de FreeToken puede ser mayor en la programación unificada de CPU/GPU y en el prellenado repetido de agentes que en una pequeña ventaja durante sesiones cortas de decodificación estable.

Utiliza el siguiente flujo de trabajo para evaluar una configuración local de Qwen MoE sin asumir que una sola cifra de referencia representará tu carga de trabajo diaria.

La mejor evaluación utiliza una carga de trabajo representativa. Para un chat informal, la generación sostenida puede ser la prioridad. Para los agentes de programación, los cambios repetidos de contexto y la latencia del primer token pueden dominar la experiencia. Registra los resultados después de que el modelo se haya calentado, pero documenta por separado el comportamiento del inicio en frío.

FreeToken es especialmente relevante cuando el modelo MoE deseado supera la capacidad práctica de la GPU, pero sigue siendo manejable con la RAM del sistema. También está orientado a agentes de programación que revisan repetidamente su historial de contexto. En esos casos, los segmentos con puntos de control pueden ofrecer una mejora más significativa que una pequeña ganancia en la velocidad de decodificación sin procesar.

Este enfoque también implica compromisos. Mover expertos entre la RAM del sistema y la memoria de la GPU introduce presión sobre el ancho de banda. Los prompts largos pueden aumentar los costes de prellenado, y una GPU de 8 GB puede experimentar un equilibrio diferente entre la ejecución de la CPU y las transferencias PCIe que una GPU de escritorio con más memoria.

Para los usuarios preocupados por la privacidad, la inferencia local puede reducir la necesidad de enviar prompts a un servicio remoto, pero la ejecución local no hace que todos los flujos de trabajo sean seguros automáticamente. Protege la API local, revisa qué herramientas pueden conectarse a ella y evita exponer un endpoint de inferencia a una red que no sea de confianza.

Se describe que el proyecto se publica bajo la licencia Apache 2.0. Para consultar los detalles de implementación más recientes, revisa la descripción general de FreeToken Open Source, publicada el 23 de agosto de 2026.