Thinking Machines publie un modèle "open weights" à 975 milliards de paramètres

Mira Murati, ex-CTO d'OpenAI, sort chez Thinking Machines un modèle frontier avec ses poids ouverts - quelque chose que son ancien employeur promet depuis des années sans jamais livrer.

Le contexte

Depuis qu'OpenAI a définitivement basculé côté "closed source" avec GPT-4, la scène "open weights" (modèles dont les poids sont téléchargeables, même si la licence n'est pas toujours au sens strict libre) a été dominée par les Chinois : Qwen (Alibaba), DeepSeek, Kimi. Les acteurs américains proposaient soit du fermé (OpenAI, Anthropic), soit du "small" open (Meta avec Llama, quelques initiatives universitaires).

Thinking Machines, la boîte fondée par Mira Murati (l'ex-CTO d'OpenAI) après son départ fracassant, vient de sortir son premier modèle open weights. Et ils ont visé haut.

Ce qu'il y a dans la boîte

D'après The Register, le modèle affiche 975 milliards de paramètres. Pour situer, c'est du même ordre de grandeur que ce que la rumeur prêtait à GPT-4 (autour de 1,8T avec du Mixture of Experts). Les poids sont téléchargeables, ce qui permet :

• de le faire tourner on-premise (sous réserve d'avoir la ferme de GPU nécessaire),
• de le fine-tuner sur un domaine (droit, médical, code),
• d'auditer son comportement sans dépendre d'une API tierce.

L'idée assumée est d'offrir une alternative américaine aux modèles ouverts chinois, en cohérence avec la position que Murati défendait déjà chez OpenAI - position à laquelle Sam Altman a mis fin quand OpenAI est devenu, dans les faits, un fournisseur de SaaS.

Ce que ça change pour un dev

Concrètement, un modèle de 975B paramètres, tu ne le fais pas tourner sur ton laptop. On parle d'un cluster multi-GPU haut de gamme, ou d'un provider d'inférence qui l'hébergera. Ce qui change, c'est :

• La reproductibilité : les poids sont figés, tu peux versionner ton IA comme tu versionnes ton code.
• La souveraineté : plus besoin de faire fuiter des données sensibles vers l'API d'OpenAI ou Anthropic.
• La recherche : les universités et labos indépendants peuvent enfin étudier un modèle de cette taille dans son intégralité.

À noter : "open weights" ≠ "open source" au sens OSI. Les données d'entraînement et le code de training restent le plus souvent fermés. Pour du vrai libre au sens historique, il faudra continuer à regarder du côté de projets comme OLMo (AI2) ou BLOOM.

À retenir

Mira Murati livre publiquement ce qu'Altman promet depuis deux ans sans le faire. C'est le signal politique le plus fort de l'année pour la scène IA ouverte occidentale - et un rappel que quand un dirigeant part avec du cash, il fait parfois ce qu'il n'a pas pu faire de l'intérieur.