Thinking Machines publica un modelo de "open weights" con 975 mil millones de parámetros

Mira Murati, ex-CTO de OpenAI, se une a Thinking Machines con un modelo de frontera con sus pesos abiertos: algo que su antiguo empleador promete desde hace años sin cumplir nunca.

El contexto

Desde que OpenAI pasó definitivamente al lado de "código cerrado" con GPT-4, la escena de "pesos abiertos" (modelos cuyos pesos son descargables, aunque la licencia no sea estrictamente libre) ha sido dominada por los chinos: Qwen (Alibaba), DeepSeek, Kimi. Los actores estadounidenses ofrecían o bien modelos cerrados (OpenAI, Anthropic), o bien "pequeños" modelos abiertos (Meta con Llama, algunas iniciativas universitarias).

Thinking Machines, la empresa fundada por Mira Murati (la ex-CTO de OpenAI) tras su polémica salida, acaba de lanzar su primer modelo de pesos abiertos. Y han apuntado alto.

Lo que hay en la caja

Según The Register, el modelo cuenta con 975 mil millones de parámetros. Para situarlo, es del mismo orden de magnitud que lo que rumoreaba sobre GPT-4 (alrededor de 1,8 billones con Mixture of Experts). Los pesos son descargables, lo que permite:

• ejecutarlo on-premise (siempre que se cuente con la granja de GPU necesaria),
• ajustarlo a un dominio (derecho, médico, código),
• auditar su comportamiento sin depender de una API de terceros.

La idea asumida es ofrecer una alternativa estadounidense a los modelos abiertos chinos, en coherencia con la postura que Murati ya defendía en OpenAI — postura que Sam Altman dejó de lado cuando OpenAI se convirtió, de facto, en un proveedor de SaaS.

Lo que cambia para un desarrollador

Concretamente, un modelo de 975 mil millones de parámetros no se ejecuta en un portátil. Hablamos de un clúster multi-GPU de gama alta, o de un proveedor de inferencia que lo aloje. Lo que cambia es:

• La reproducibilidad: los pesos están fijos, puedes versionar tu IA como versionas tu código.
• La soberanía: ya no es necesario filtrar datos sensibles a la API de OpenAI o Anthropic.
• La investigación: las universidades y laboratorios independientes pueden estudiar, por fin, un modelo de este tamaño en su totalidad.

Cabe destacar: "pesos abiertos" ≠ "código abierto" en el sentido de la OSI. Los datos de entrenamiento y el código de entrenamiento suelen seguir cerrados. Para un modelo realmente libre en el sentido histórico, habrá que seguir mirando proyectos como OLMo (AI2) o BLOOM.

Para recordar

Mira Murati hace público lo que Altman prometía desde hace dos años sin cumplir. Es la señal política más fuerte del año para la escena de IA abierta occidental — y un recordatorio de que cuando un directivo se va con dinero, a veces hace lo que no pudo hacer desde dentro.