Denkende Maschinen veröffentlichen ein Modell mit "Open Weights" mit 975 Milliarden Parametern

Mira Murati, ehemalige CTO von OpenAI, bringt bei Thinking Machines ein Frontier-Modell mit offenen Gewichten heraus - etwas, das ihr ehemaliger Arbeitgeber seit Jahren verspricht, ohne es jemals zu liefern.

Der Kontext

Seit OpenAI endgültig auf die Seite "Closed Source" mit GPT-4 gewechselt ist, wird die "Open Weights"-Szene (Modelle, deren Gewichte heruntergeladen werden können, auch wenn die Lizenz nicht immer im strengen Sinne frei ist) von den Chinesen dominiert: Qwen (Alibaba), DeepSeek, Kimi. Die amerikanischen Akteure boten entweder geschlossene Modelle (OpenAI, Anthropic) oder "small" open (Meta mit Llama, einige universitäre Initiativen).

Thinking Machines, das Unternehmen, das von Mira Murati (der ehemaligen CTO von OpenAI) nach ihrem spektakulären Abgang gegründet wurde, hat gerade ihr erstes Open-Weights-Modell veröffentlicht. Und sie haben hoch gesteckt.

Was in der Box ist

Laut The Register hat das Modell 975 Milliarden Parameter. Zum Vergleich: Das ist in der gleichen Größenordnung wie das, was Gerüchten zufolge GPT-4 zugeschrieben wurde (etwa 1,8T mit Mixture of Experts). Die Gewichte sind herunterladbar, was ermöglicht:

• es on-premise laufen zu lassen (vorbehaltlich der notwendigen GPU-Farm),
• es auf einem Bereich fein abzustimmen (Recht, Medizin, Code),
• sein Verhalten zu auditieren, ohne von einer Drittanbieter-API abhängig zu sein.

Die zugrunde liegende Idee ist, eine amerikanische Alternative zu den offenen chinesischen Modellen anzubieten, in Übereinstimmung mit der Position, die Murati bereits bei OpenAI vertrat - einer Position, die Sam Altman beendete, als OpenAI de facto zu einem SaaS-Anbieter wurde.

Was das für einen Entwickler bedeutet

Konkrekt lässt sich ein Modell mit 975B Parametern nicht auf deinem Laptop laufen. Es geht um ein High-End-Multi-GPU-Cluster oder einen Inference-Anbieter, der es hostet. Was sich ändert, ist:

• Reproduzierbarkeit: Die Gewichte sind festgelegt, du kannst deine KI wie deinen Code versionieren.
• Souveränität: Keine Notwendigkeit mehr, sensible Daten an die API von OpenAI oder Anthropic zu leiten.
• Forschung: Universitäten und unabhängige Labore können endlich ein Modell dieser Größe in seiner Gesamtheit studieren.

Zu beachten: "Open Weights" ≠ "Open Source" im Sinne der OSI. Die Trainingsdaten und der Trainingscode bleiben meistens geschlossen. Für echten Freien im historischen Sinne wird man weiterhin Projekte wie OLMo (AI2) oder BLOOM im Auge behalten müssen.

Wichtigste Punkte

Mira Murati liefert öffentlich, was Altman seit zwei Jahren verspricht, ohne es zu tun. Es ist das stärkste politische Signal des Jahres für die westliche offene KI-Szene - und eine Erinnerung daran, dass ein Abteilungsleiter, der mit Geld geht, manchmal Dinge tut, die er von innen nicht tun konnte.