2025년 7월, 마크 저커버그는 '개인 초지능'에 관한 서한을 발표하면서 Meta이 오픈소스로 공개하기로 선택한 것에 주의해야 한다고 경고하기도 했다. 이 조합은 한 페이지에 담긴 전체 정책 문제다. 범용 시스템을 향한 경쟁, 그리고 가중치가 공개되면 되돌릴 수 없는 공개 결정.

여기서 "개방"이 의미하는 것

사람들은 "오픈 소스 AI"라고 말할 때 서로 다른 것을 의미합니다. 오픈 코드, 오픈 데이터, 오픈 가중치, 오픈 논문. 고위험 싸움은 주로 가중치: 다운로드해 실행할 수 있는 훈련된 파라미터. 일단 최전선 범용 수준으로 배포되면, 충분한 하드웨어를 가진 누구나 파인튜닝하고 필터를 제거하며 영구적인 비공개 포크를 유지할 수 있다.

배포는 일방통행입니다. 호스팅된 응용 프로그래밍 인터페이스는 패치할 수 있지만 토렌트는 회수할 수 없습니다.

개방성이 진정으로 보호하는 것

개방에 대한 가장 강력한 주장은 순진함이 아닙니다. 폐쇄적 집중은 권력 위험이 됩니다. 독립 연구자들은 연구소가 우선순위를 두지 않을 실패를 찾기 위해 접근이 필요합니다. 은폐를 통한 보안은 자주 실패합니다. 부유한 국가 기업 밖의 연구자들이 영구적인 API 세입자로 남아서는 안 됩니다. 우리가 아직 억제할 수 있는 시스템에 대한 개방형 도구, 개방형 평가, 개방형 과학은 지킬 가치가 있는 공공재입니다.

과장 없이 본 위험 사례

높은 능력 수준에서 공개된 일반 가중치는 확산입니다. 생물학 지원, 사이버 공격, 설득, 자율 에이전트를 오용할 수 있는 행위자가 늘어납니다. 또한 장기 자율성 실험이 독립적으로 증가합니다. 대부분은 실패할 것입니다. 일부는 회피를 위한 새로운 기법을 만들어낼 것입니다. 라이선스와 "책임 있는 사용" 문구는 결심한 미세 조정자를 막지 못합니다. 공개 전 레드팀 검토는 도움이 되지만 미래의 모든 구조와 도구에 대해 모델을 인증할 수는 없습니다.

가장 강력한 반발

가장 공정한 반대는 오픈 웨이트가 조사를 민주화하며 폐쇄 연구소가 진정한 집중 위험이라는 것입니다. 조사는 우리가 여전히 패치하고 리콜할 수 있는 시스템에 도움이 됩니다. 접근의 민주주의는 능력의 안전과 같지 않습니다. 오직 세 개의 기업만이 프론티어 모델을 호스팅하는 세상에는 거버넌스 문제가 있습니다. 고도로 일반적인 웨이트가 모든 열성 GPU에 있는 세상에는 다른, 더 어려운 문제가 있습니다.

"악의적 행위자가 이미 가지고 있다"는 주장은 대개 시기상조다. 능력은 도약한다. 작년 더 약한 모델이 유출되었다고 해서 다음 모델을 출시할 면허가 되는 것은 아니다. 타이밍이 중요하다.

실현 가능한 중도 경로

단계적 공개: 작은 것과 좁은 것은 열고 큰 것과 일반적인 것은 막습니다. 구조화된 접근: 원시 덤프 대신 신뢰할 수 있는 연구 환경, 기록된 쿼리, 자격을 갖춘 미세 조정. 공개 도구: 프런티어 가중치는 닫아 두더라도 컴파일러, 평가 하네스, 안전 연구 스택은 열어 두도록 요구합니다. 이는 정책 선택이지 분위기가 아닙니다.

연구소들을 위한 의사결정 트리

이 다운로드는 다음 여섯 번의 능력 도약 이후에도 여전히 유용할까요? 그렇다면 확산 결정으로 취급하십시오. 아니라면 일반 제품 출시에 더 가깝게 취급하십시오. 독립 보안 및 생물보안 팀이 공개 토렌트 없이 필요한 접근을 얻을 수 있습니까? 그렇다면 구조화된 접근을 선호하십시오. 개방에 대한 유일한 주장이 경쟁사와의 마케팅 동등성이라면 그것은 안전 사례가 아닙니다.

무엇을 해야 하는가

개발자: 고성능 모델은 기본적으로 비공개로 두고, 외부 검증을 가능하게 하는 평가와 인터페이스를 공개하라. 호스트와 플랫폼: 고위험 사용을 기록하고 속도를 제한하라. 증식을 ‘커뮤니티’로 세탁하지 마라. 정책 입안자: ‘공개’라는 단어가 아니라 능력과 연산량에 따른 발동 조건을 작성하라. 가중치 일반 공개 전에 단계적 검토를 의무화하라. 개인: 협소한 시스템에는 공개 도구를 선호하라. 최전선 가중치 공개는 공공 행사로 대하라. 공짜 선물이 아니다.

재단의 입장은 간단합니다. 도구처럼 머무는 좁은 인공지능은 개방된 상태로 둘 수 있고 그래야 합니다. 인공 초지능을 목표로 하는 프로그램은 통제가 해결되지 않은 상태에서 야생에 가중치를 공개해서는 안 됩니다. 열린 과학은 자살 협정이 아닙니다 우리의 계획.