Anthropic, 2년 내 자기개선 AI 임박 경고…글로벌 일시 중단 제안

Anthropic이 프론티어 AI 개발에 대한 조정된 글로벌 일시 중단을 촉구하면서, 인간의 감독 없이 기계가 스스로 학습할 수 있게 되기 전에 업계가 자체 규제를 할 수 있을지에 대한 논쟁이 다시 불붙었다.

Anthropic은 AI 시스템이 인간의 개입 없이 자체 코드를 다시 작성할 수 있는 능력인 '재귀적 자기개선(recursive self-improvement)'에 2년 내에 도달할 수 있다고 경고하며, 프론티어 모델 개발을 늦추기 위한 글로벌 조정된 일시 중단을 제안했다.

Anthropic의 내부 연구 책임자 마리나 파바로(Marina Favaro)와 정책 책임자 잭 클라크(Jack Clark)는 목요일 블로그 게시글에서 "기술 발전에 맞춰 사회 구조와 정렬 연구가 따라잡을 수 있도록 프론티어 AI 개발을 늦추거나 일시 중단할 수 있는 옵션이 세상에 존재하는 것이 좋다고 믿는다"고 밝혔다.

지난달 650억 달러 규모의 시리즈 H 펀딩 라운드를 통해 약 9650억 달러의 가치를 인정받은 이 회사는 자체 데이터를 공개하며 가장 진보된 모델들이 소프트웨어 작업을 자율적으로 완료하는 속도가 급격히 가속화되고 있다고 밝혔다. 클라크는 일부 시스템이 2년 내에 재귀적 자기개선을 달성할 수 있다고 말했지만, 회사는 이 현상이 여전히 이론적이며 실제 운영 환경에서 입증된 적이 없다고 인정했다.

이 제안은 Anthropic과 OpenAI가 기업공개(IPO)를 경쟁하고 있는 가운데 나왔다. Anthropic은 이번 주 증권거래위원회(SEC)에 IPO 서류를 비공개 제출했으며, 두 회사는 향후 5년간 AI 인프라 지출이 1조 달러에 달할 것으로 예상되는 시장에서 주도권을 다투고 있다. 일시 중단이 시행될 경우 경쟁 구도를 재편하고 수십억 달러의 예상 수익을 지연시킬 수 있다.

글로벌 일시 중단의 실현 가능성

분석가들은 전 세계적인 AI 개발 중단을 강제하는 것은 거의 극복할 수 없는 장애물에 직면할 것이라고 말했다. Enderle Group의 롭 엔더를(Rob Enderle)은 경제 및 국가 안보의 이해관계가 너무 커서 주요 강대국이 자발적으로 속도를 늦출 의사가 없기 때문에 글로벌 일시 중단은 "사실상 불가능"하다고 말했다. 핵무기와 달리 위성 이미지로 미사일 사일로 건설을 확인할 수 있지만, AI 훈련 실행은 분산된 컴퓨팅 자원을 갖춘 민간 데이터 센터 내에 숨겨질 수 있어 감시가 훨씬 어렵다.

엔더를은 "분산된 컴퓨팅 자원, 민간 데이터 센터 및 알고리즘 연구를 전 세계적으로 추적하는 것은 핵 시설과 같은 물리적 대상을 모니터링하는 것보다 훨씬 어렵다"고 말했다.

Anthropic은 검증 과제를 인정하면서도 이를 냉전 시대의 군비 통제 조약에 비유했지만, AI 훈련 실행을 은폐하는 것이 미사일 기반 시설을 숨기는 것보다 훨씬 쉽다고 지적했다. 회사는 Anthropic Institute 연구 부서가 정책 입안자 및 연구자들과 협력하여 검증 메커니즘을 모색할 것이라고 밝혔지만, 구체적인 일정이나 프레임워크는 제시하지 않았다.

비평가들, Anthropic의 동기에 의문 제기

이 제안은 Anthropic이 안전 담론을 이용해 경쟁적 위치를 강화하려 한다는 업계 인사들의 날카로운 회의론에 직면했다. 도널드 트럼프 대통령의 비공식 고문인 벤처 투자자 데이비드 색스(David Sacks)는 이전에 회사가 저비용 오픈소스 모델을 금지하여 자체 독점 알고리즘에 대한 수요를 부추기는 "규제 포착 의제"를 추진하고 있다고 비난한 바 있다.

OpenAI의 샘 알트만(Sam Altman) CEO도 유사한 비난을 제기하며 Anthropic의 경고를 "두려움 기반 마케팅"이라고 표현했다. 지난달 성명에서 그는 "우리가 폭탄을 만들었고, 곧 당신 머리 위에 떨어뜨리려 한다고 말하는 것은 분명히 훌륭한 마케팅이다. 우리는 1억 달러에 방공호를 팔겠다"고 말했다.

OpenAI는 수요일 자체 보고서를 발표하여 "민주 정부—민간 기업이 단독으로 행동하는 것이 아닌—가 궁극적으로 AI 개발을 위한 규칙, 안전장치 및 책임 메커니즘을 결정해야 한다"고 주장했으며, 이는 Anthropic의 업계 주도 일시 중단 제안을 암묵적으로 거부하는 입장이다.

Constellation Research의 홀거 뮬러(Holger Mueller)는 Anthropic이 윤리적 질문을 제기하는 것을 긍정적으로 평가하면서도, 회사가 "따라잡기 위해 현상을 동결시키려는 것인지, 아니면 단순히 리더십을 유지하려는 것인지" 의문을 제기했다. 그는 동결이 Anthropic이 B2B AI 시스템에서의 입지를 유지하고 잠재적으로 시장 점유율을 확대하는 데 도움이 될 것이라고 지적했다.

펜실베니아대학교 와튼스쿨의 에단 몰릭(Ethan Mollick) 교수는 X(트위터)에 해당 블로그 게시글에 "약간의 자기 성찰, 일부 마케팅, 그리고 Anthropic이 AI의 가까운 미래에 대해 생각하는 매우 진지한 신념들이 담겨 있다"고 게시했다.

투자자 영향

투자자들에게 이 논쟁은 규제 불확실성을 업계에 도입한다. Anthropic, OpenAI, Google, Microsoft, Meta 등 주요 기업들은 AI 인프라에 연간 2000억 달러 이상을 공동 지출하고 있다. 조정된 일시 중단이 힘을 얻는다면, 엔비디아의 수익 성장 기대치를 낮출 수 있다. 엔비디아의 가장 최근 분기 데이터센터 매출 475억 달러는 AI 모델 훈련 수요에 직접적으로 연결되어 있다. 제안이 거부된다면 단기적인 불확실성은 제거되지만 안전 관행에 대한 조사는 강화될 수 있다.

Anthropic은 아직 상장 티커가 없지만, 비공개 IPO 신청으로 공개 시장 투자자들은 곧 이 논쟁의 해결에 직접적인 이해관계를 가지게 될 것이다. Spark Capital과 Menlo Ventures를 포함한 투자자들이 주도한 650억 달러 펀딩 라운드는 회사 가치를 연간 매출의 약 40배로 평가했으며, 이는 규제 중단 없이 지속적인 급성장을 가정한 배수다.

본 기사는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.