Thinking Machinesは、975億パラメータの「オープンウェイト」モデルを公開

Mira Murati、元OpenAIのCTOは、Thinking Machinesでフロンティアモデルを公開し、その重みをオープンにしました。これは、彼女の元の雇用主が何年も約束していながら、ついに提供できなかったものです。

コンテクスト

OpenAIがGPT-4で完全に「クローズドソース」に転換して以来、「オープンウェイト」（ダウンロード可能なモデル、ただし厳密な意味でのフリーライセンスではない場合もある）のシーンは中国勢が主導しています：Qwen（Alibaba）、DeepSeek、Kimi。アメリカのプレイヤーは、クローズド（OpenAI、Anthropic）か「スモール」オープン（MetaのLlama、いくつかの大学の取り組み）を提供していました。

OpenAIの元CTOであるMira Muratiが激しい離脱の後設立したThinking Machinesは、最初のオープンウェイトモデルをリリースしました。そして、彼らは高い目標を設定しました。

ボックスの中身

The Registerによると、このモデルは975億のパラメータを誇ります。GPT-4（Mixture of Expertsを使用した場合、約1.8T）の噂と同程度です。ウェイトはダウンロード可能であり、これにより以下が可能になります：

• 必要なGPUファームを持っている場合、オンプレミスで実行できます。
• ドメイン（法律、医療、コード）に対してファインチューニングできます。
• サードパーティのAPIに依存せずに、その振る舞いを監査できます。

公然と主張されているアイデアは、中国のオープンモデルに対するアメリカの代替案を提供することであり、MuratiがOpenAIで既に主張していた立場と一致しています。この立場は、OpenAIが事実上SaaSプロバイダーになったとき、Sam Altmanによって終了されました。

開発者にとっての変化

具体的には、975Bパラメータのモデルは、ノートパソコンで実行するものではありません。高級マルチGPUクラスターまたはインファレンスプロバイダーがホスティングする必要があります。変化するのは以下の点です：

• 再現性：ウェイトは固定されています。AIをコードと同様にバージョン管理できます。
• 主権：OpenAIまたはAnthropicのAPIに機密データを漏洩させる必要がなくなります。
• 研究：大学や独立研究所は、この規模のモデルを完全に研究できます。

注意：OSIの意味での「オープンウェイト」≠「オープンソース」。トレーニングデータとトレーニングコードは、ほとんどの場合クローズドのままです。歴史的な意味での真のフリーソフトウェアを求める場合は、OLMo（AI2）やBLOOMのようなプロジェクトを見続ける必要があります。

要点

Mira Muratiは、Altmanが2年間約束していたものを公開しています。これは、西洋のオープンAIシーンにとって今年の最も強い政治的シグナルであり、リーダーが資金を持って去るとき、時には内部からできなかったことをすることがあるという思い出です。