Thinking Machines는 975억 개의 매개변수를 가진 "open weights" 모델을 발표했다

미라 무라티, 전 오픈AI CTO, Thinking Machines에서 Frontier 모델을 공개하며 가중치를 공개하다 - 그녀의 전 고용주가 수년간 약속했지만 결코 실현하지 못한 일

배경

OpenAI가 GPT-4로 완전히 '폐쇄형 오픈소스'로 전환한 이후, "오픈 웨이트"(가중치는 다운로드 가능하지만 라이선스가 엄밀히 말해 자유로운 것은 아닌 모델) 분야는 중국 기업들이 주도해 왔습니다: Qwen(알리바바), DeepSeek, Kimi. 미국 기업들은 폐쇄형(OpenAI, 앤트로픽) 또는 '소규모' 오픈(메타의 Llama, 일부 대학 initiative)만 제공했습니다.

미라 무라티(OpenAI 전 CTO)가 격렬한 사임 후 설립한 Thinking Machines가 드디어 첫 번째 오픈 웨이트 모델을 출시했습니다. 그리고 그들은 매우 높은 목표를 세웠습니다.

모델의 내용

The Register에 따르면, 이 모델은 9,750억 개의 매개변수를 보유하고 있습니다. 참고로 이는 GPT-4에 대한 소문에 나오는 규모(약 1.8T, Mixture of Experts)와 거의 맞먹습니다. 가중치는 다운로드 가능하여 다음과 같은 기능을 제공합니다:

• 온프레미스에서 실행 가능(필요한 GPU 클러스터가 있는 경우),
• 특정 분야(법률, 의료, 코드)에 맞게 파인튜닝 가능,
• 타사의 API에 의존하지 않고 모델의 행동을 감사할 수 있음.

무라티가 OpenAI 재직 시절부터 주장했던 입장(OpenAI가 SaaS 공급업체로 사실상 전환되면서 샘 알트만이 이를 종식시킨 입장)과 일관되게, 이 모델은 중국 오픈 모델에 대항할 미국의 대안을 제공하려는 의도를 가지고 있습니다.

개발자에게 미치는 변화

구체적으로, 9,750억 매개변수 모델은 노트북에서 실행할 수 없습니다. 고성능 멀티-GPU 클러스터 또는 추론을 제공하는 공급업체에서 호스팅해야 합니다. 변화는 다음과 같습니다:

• 재현성: 가중치가 고정되어 있어 코드를 버전 관리하듯 AI를 버전 관리할 수 있습니다.
• 주권성: 민감한 데이터를 OpenAI나 앤트로픽 API로 유출할 필요가 없습니다.
• 연구: 대학 및 독립 연구실이 드디어 이 규모의 모델을 완전히 연구할 수 있게 되었습니다.

참고: "오픈 웨이트" ≠ 역사적으로 OSI가 정의한 "오픈소스"입니다. 훈련 데이터와 훈련 코드는 대부분 여전히 폐쇄되어 있습니다. 진정한 자유 소프트웨어를 원한다면 OLMo(AI2)나 BLOOM 같은 프로젝트를 계속 주시해야 합니다.

핵심 요약

미라 무라티는 알트만이 2년간 약속했지만 실천하지 못한 것을 공개적으로 실현했습니다. 이는 서방권 오픈 AI 분야에서 올해 가장 강력한 정치적 신호이며, 리더가 현금을 가지고 떠날 때 내부에서 하지 못한 일을 때로는 해낸다는 사실을 다시 한 번 상기시켜 줍니다.