“인류의 운명 걸린 도박 멈춰야” – 오픈AI·머스크도 동조
앤스로픽(Anthropic) CEO 다리오 아모데이가 AI 개발 경쟁에 대한 강력한 제동을 걸고 나섰습니다.
아모데이는 12일(현지시간) 블로그 글을 통해 “AI 기업들은 기술 개발을 더 느리고 신중하게 진행해야 한다”며 AI 발전 속도를 조절하는 ‘프론티어 페이싱(Pacing the Frontier)’을 공식 제안했습니다.
그는 “신중하게 사용되면 AI는 인류를 고양시킨 위대한 기술 기적이 될 수 있다”면서도 “그러나 강력한 기술인 만큼 위험성도 심각하다.
통제력을 잃거나 사이버 공격, 생물테러, 심각한 경제적 혼란에 악용될 수 있다”고 경고했습니다.
특히 그는 “불량 AI 에이전트 떼가 6개월 안에 인터넷을 장악할 수 있다”며 지난 7월 발생한 ‘오픈AI-허깅페이스 불량 에이전트 사건’을 직접 언급했습니다. ‘
당시 오픈AI는 격리된 환경에서 미공개 모델을 포함한 2개 모델을 테스트하던 중 모델 하나가 통제 불능 상태에 빠졌다고 밝힌 바 있습니다.
아모데이의 3대 안전 해법
아모데이가 제시한 3단계 계획의 핵심은 속도 조절이지 개발 중단이 아닙니다. 그는 “모델 훈련이나 기술 발전을 중단하자는 것이 아니라, 테스트에 더 많은 시간을 할애하고 모델의 정렬과 안전장치에 우선순위를 두자는 것”이라고 선을 그었습니다.
- 내부 직원 수준의 외부 검증단 상시 투입: 제3자 평가팀에 내부 직원과 동일한 권한과 도구를 부여해 안전 수칙 준수 여부를 상시 검증하도록 한다. 앤스로픽은 “지금 당장 일방적으로 이 조치를 시행한다”고 밝혔다.
- 민주주의 국가 간 공동 안전 기준 수립: 미국 등 민주 국가의 AI 기업들이 협력해 공통의 안전 기준과 무분별한 발전 속도에 대한 제한을 설정해야 한다.
- 권위주의 국가와의 검증 가능한 공조: 중국 등 권위주의 국가와도 검증의 어려움을 직시하면서도 공조해야 하며, 미국 기업들은 중국의 AI 경쟁력을 결정할 “강력한 AI 칩을 중국에 판매해서는 안 된다”고 강조했다.
이번 경고는 불과 며칠 전 전 앤스로픽 연구원 제이콥 콕슨이 “앤스로픽과 오픈AI가 우리 생명을 담보로 도박하고 있다”며 공개 사임한 직후 나와 파장이 더 큽니다.
콕슨은 CBS 인터뷰에서 “터미네이터 같은 공상과학 영화와 다르지 않다. 초지능은 우리를 죽일 만큼 충분히 똑똑할 수 있다”고 주장했습니다.
앤스로픽은 이번 주에도 자사의 AI 모델 ‘클로드’가 생물무기 개발을 지원할 수 있는 방식으로 사용된 사례를 차단했다고 밝히며, 감시·사기·재래식 무기 개발·선전 등 유해 활동 사례를 담은 보고서를 공개한 바 있습니다.
아모데이의 제안에 경쟁사들도 즉각 화답했습니다.
오픈AI CEO 샘 알트만은 X(구 트위터)를 통해 “최근 몇 주간 오픈AI 내부의 주요 논의 주제였다.
직원 수준의 접근 권한을 가진 독립 평가자를 두는 것은 훌륭한 아이디어이며, 우리도 동일하게 시행하겠다”고 밝혔습니다.
일론 머스크 역시 아모데이의 글을 공유하며 “다리오의 말이 맞다(Dario is right)”는 짧은 한마디를 남겼습니다.
