FreeToken opencode: Guía de configuración de IA local para agentes de programación

FreeToken opencode se entiende mejor como una configuración de agente de programación local, no como un modelo nuevo ni como un asistente independiente. FreeToken es un motor de inferencia diseñado para ejecutar modelos grandes en el hardware disponible, mientras que opencode proporciona el flujo de trabajo del agente de programación que lee archivos del proyecto, utiliza herramientas, actualiza el contexto y solicita la siguiente respuesta.

La integración es especialmente importante cuando el modelo seleccionado es demasiado grande para caber por completo en la VRAM de la GPU. En lugar de tratar la GPU, la CPU, la memoria del sistema y la conexión PCIe como limitaciones independientes, FreeToken intenta coordinarlas como un solo sistema. Este enfoque resulta especialmente útil durante sesiones de programación prolongadas, en las que un agente envía repetidamente prompts y resultados de herramientas que van cambiando.

Aspectos destacados del vídeo:

• Los modelos grandes de mezcla de expertos pueden ejecutarse incluso cuando sus pesos completos superan la VRAM de la GPU.
• La caché adaptativa de expertos ayuda a mantener disponibles para tokens posteriores los expertos utilizados con frecuencia.
• Las pruebas del creador mostraron buenos resultados en hardware RTX 5090 y RTX 4060 para portátiles.
• Las API compatibles con OpenAI y Anthropic pueden conectar la inferencia local con herramientas de programación.
• Los contextos largos de los agentes son una prueba más significativa que un benchmark corto de generación de tokens.

La ventaja de rendimiento mencionada no es universal. Es más relevante cuando un modelo utiliza un diseño de mezcla de expertos y sus pesos deben dividirse entre la VRAM y la RAM del sistema. Si un modelo cuantizado más pequeño ya cabe por completo en la GPU, un runtime general maduro puede seguir siendo muy competitivo.

Antes de configurar opencode, comprueba si el equipo coincide con la ruta acelerada documentada. El material disponible describe una configuración centrada en Linux, un equipo x86-64, una GPU NVIDIA, CUDA 13 y un controlador reciente. El proyecto destaca las tarjetas de las series RTX 30, RTX 40 y RTX 50, pero el rendimiento real depende de la GPU exacta, el procesador, el ancho de banda de memoria, la conexión PCIe, el formato del modelo y la longitud del contexto.

La RAM del sistema es tan importante como la VRAM. Una tarjeta gráfica con 8 GB de VRAM no reduce un modelo de 35.000 millones de parámetros a una instalación de 8 GB. Los pesos restantes todavía necesitan residir en algún otro lugar, y para operar de forma práctica se requieren checkpoints de baja precisión.

Los ejemplos publicados muestran por qué es importante el equilibrio general del sistema. Se utilizó un portátil RTX 4060 con 8 GB de VRAM y 32 GB de memoria del sistema junto con un checkpoint Qwen3.6 35B A3B de 4 bits. El modelo no cabía por completo en la VRAM, pero la velocidad de generación indicada fue de aproximadamente 39,3 tokens por segundo. Otro ejemplo de estación de trabajo utilizó una capacidad de memoria mucho mayor para ejecutar un modelo de 753.000 millones de parámetros.

Estas cifras deben considerarse puntos de referencia, no resultados garantizados. El modelo, la cuantización, la longitud del prompt, el controlador, la velocidad de la memoria y la carga de trabajo pueden cambiar el resultado.

El principal objetivo de diseño de FreeToken es resolver el problema de transferencias creado por los grandes modelos de mezcla de expertos. Un modelo MoE puede contener cientos de miles de millones de parámetros totales y activar solo un subconjunto menor para cada token. Por tanto, el cálculo puede ser manejable, pero el conjunto completo de pesos aún debe almacenarse y estar disponible.

El runtime utiliza tres estrategias importantes:

1. Caché adaptativa de expertos mantiene en la VRAM los expertos seleccionados con frecuencia. Cuando tokens cercanos utilizan repetidamente expertos similares, el motor puede evitar volver a obtener los mismos pesos desde la RAM del sistema.
2. Ejecución superpuesta prepara el trabajo siguiente mientras la GPU procesa la capa actual. Las transferencias siguen produciéndose, pero parte de la espera puede ocultarse detrás del cálculo activo.
3. Distribución consciente del hardware estima si un experto debe transferirse a la GPU o ejecutarse directamente en la CPU. La decisión puede tener en cuenta el ancho de banda de memoria real y el comportamiento de PCIe, en lugar de depender de una división fija.

Un benchmark con un prompt corto puede no mostrar todo el beneficio. Un agente de opencode puede leer archivos fuente, llamar a una herramienta de shell o del proyecto, recibir el resultado, modificar su contexto y enviar otra solicitud. Algunas sesiones pueden superar los 50.000 tokens. Cuando solo cambia una parte de la conversación, resulta importante reutilizar la sección que no ha cambiado.

Por ello, la evaluación más significativa es la finalización de tareas con llamadas repetidas a herramientas. Mide el tiempo hasta el primer token nuevo, la consistencia de las respuestas entre turnos y el tiempo total de espera, no solo la cifra final de tokens por segundo.

Utiliza la siguiente secuencia para preparar una conexión con un agente de programación local. Los comandos exactos pueden cambiar a medida que evolucione el proyecto, así que adapta cada comando a la versión actual de FreeToken y a la documentación del modelo compatible.

La primera prueba debe ser deliberadamente pequeña. Evita comenzar con un repositorio enorme o un prompt extremadamente largo, ya que un fallo podría deberse al tamaño del contexto y no a la conexión. Cuando una tarea breve con llamadas a herramientas funcione, aumenta gradualmente el tamaño del proyecto y del contexto.

Un benchmark útil de FreeToken opencode debe representar el trabajo de desarrollo normal. Compara el mismo modelo, checkpoint, prompt, proyecto y secuencia de herramientas entre distintos runtimes. Registra tanto el rendimiento como el retraso, porque un agente puede parecer lento incluso cuando su velocidad final de generación parece razonable.

Las comparaciones publicadas mostraron un comportamiento especialmente sólido con contextos largos y cambiantes. En las pruebas del creador, se indicó que Qwen3.6 35B A3B alcanzaba aproximadamente entre 77 y 83 tokens por segundo en una RTX 5090, mientras que DeepSeek V4 Flash alcanzaba entre 22 y 25 tokens por segundo. Estos resultados proceden de pruebas del proyecto y no deben considerarse garantías independientes. Una prueba inicial de la comunidad en una RTX 5080 también indicó aproximadamente 100 tokens por segundo para Qwen3.6 35B A3B, con un ejemplo cercano a 110 tokens por segundo.

Utiliza este orden para solucionar problemas:

• Si el modelo no se carga, comprueba primero la RAM total y la precisión del checkpoint.
• Si el inicio funciona pero las respuestas se detienen, inspecciona la longitud del contexto y la presión de las transferencias.
• Si el rendimiento varía mucho, compara el comportamiento de la caché, el ancho de banda de PCIe y el uso de memoria en segundo plano.
• Si opencode no puede conectarse, prueba la API local de forma independiente antes de cambiar la configuración del agente.
• Si un modelo ya cabe por completo en la VRAM, compáralo con un runtime general utilizando el mismo prompt y contexto.

FreeToken no es un sustituto universal para todos los flujos de trabajo de inferencia local. La ruta acelerada documentada es más limitada que la de los runtimes generales compatibles con varios sistemas operativos, procesadores, fabricantes de GPU y ecosistemas de modelos. El material disponible también describe un fuerte enfoque en Linux y hardware NVIDIA, sin identificar una ruta comparable para Apple Silicon.

Su ventaja es la especialización. Si tu ordenador tiene una GPU NVIDIA, suficiente RAM del sistema y un modelo MoE grande que no cabe en la VRAM, FreeToken puede ofrecer una base más adecuada para opencode que una división estática entre CPU y GPU. El beneficio resulta más convincente cuando el agente vuelve repetidamente con contextos largos y cambiantes.

Para tomar una decisión práctica, comienza con un modelo compatible y un repositorio pequeño. Si FreeToken reduce los retrasos hasta el primer token y mantiene un rendimiento utilizable durante llamadas repetidas a herramientas, amplía la configuración. Si el modelo cabe cómodamente en la VRAM o tu hardware está fuera de la ruta documentada, un runtime de propósito general puede ser una opción más predecible.

La conclusión principal es sencilla: FreeToken opencode es una combinación de IA local orientada a modelos de programación MoE demasiado grandes. Utiliza la coordinación mediante software para aprovechar mejor el ordenador completo, pero sigue dependiendo de una capacidad de memoria real y de hardware compatible.