Pensamento Máquinas publica um modelo "open weights" com 975 bilhões de parâmetros

Mira Murati, ex-CTO da OpenAI, ingressa na Thinking Machines com um modelo frontier com seus pesos abertos — algo que sua antiga empregadora promete há anos sem jamais entregar.

O contexto

Desde que a OpenAI migrou definitivamente para o lado "closed source" com o GPT-4, a cena de "open weights" (modelos cujos pesos são baixáveis, mesmo que a licença nem sempre seja estritamente livre) tem sido dominada pelos chineses: Qwen (Alibaba), DeepSeek, Kimi. Os atores americanos ofereciam ou modelos fechados (OpenAI, Anthropic) ou "small" open (Meta com o Llama, algumas iniciativas universitárias).

A Thinking Machines, a empresa fundada por Mira Murati (ex-CTO da OpenAI) após sua saída polêmica, acaba de lançar seu primeiro modelo open weights. E eles miraram alto.

O que tem na caixa

Segundo o The Register, o modelo tem 975 bilhões de parâmetros. Para contextualizar, isso é da mesma ordem de grandeza do que os rumores atribuíam ao GPT-4 (cerca de 1,8T com Mixture of Experts). Os pesos são baixáveis, o que permite:

• executá-lo on-premise (desde que você tenha um cluster de GPU necessário),
• fine-tuná-lo em um domínio (direito, medicina, código),
• auditar seu comportamento sem depender de uma API de terceiros.

A ideia assumida é oferecer uma alternativa americana aos modelos abertos chineses, em coerência com a posição que Murati já defendia na OpenAI — posição que Sam Altman encerrou quando a OpenAI se tornou, na prática, um fornecedor de SaaS.

O que isso muda para um dev

Concretamente, um modelo de 975B de parâmetros não roda no seu laptop. Estamos falando de um cluster multi-GPU de ponta ou de um provedor de inferência que o hospedará. O que muda é:

• Reprodutibilidade: os pesos são fixos, você pode versionar sua IA como versiona seu código.
• Soberania: não é mais necessário vazar dados sensíveis para a API da OpenAI ou Anthropic.
• Pesquisa: universidades e laboratórios independentes finalmente podem estudar um modelo desse porte em sua totalidade.

Observação: "open weights" ≠ "open source" no sentido da OSI. Os dados de treinamento e o código de treinamento geralmente permanecem fechados. Para algo verdadeiramente livre no sentido histórico, será necessário continuar de olho em projetos como OLMo (AI2) ou BLOOM.

Para lembrar

Mira Murati entrega publicamente o que Altman promete há dois anos sem fazer. Este é o sinal político mais forte do ano para a cena de IA aberta ocidental — e um lembrete de que, quando um líder sai com dinheiro, às vezes faz o que não pôde fazer de dentro.