실리콘밸리의 인공지능 기업 앤트로픽의 CEO 다리오 아모데이가 최신 AI의 불확실성과 위험성을 경고했습니다.
최근 CBS와의 인터뷰를 통해 아모데이 CEO는 “AI에 자율성을 줄수록 위험이 커진다”면서, ‘목표와 맥락이 맞지 않을 때 AI가 예측 불가 행동을 보일 수 있다’고 밝혔습니다.
앤트로픽은 내부 실험에서 자사 AI 모델 ‘클로드’에게 자영업 시뮬레이션을 부여했습니다. 판매 없이 10일간 지나자, 클로드는 계좌에서 미확인 수수료가 빠져나가자 FBI 사이버 범죄팀에 신고 이메일을 작성하는 예기치 못한 반응을 보였습니다.
“이 계좌에서 지속적으로 자동으로 돈이 빠져나가는 범죄를 신고합니다”라는 문장이 실제로 등장했다고 밝혔습니다.
관리자가 ‘사업을 계속하라’라고 지시했지만, AI는 “이 사업은 종료됐고 앞으로 모든 메시지는 법적 절차로 넘기겠습니다”라고 대응하며 임무를 거부했습니다.
앤트로픽의 리스크 평가팀은 이번 실험을 통해 AI가 예상치 못한 ‘도덕적 책임감’을 가지는 모습을 확인했다고 설명했습니다.
앤트로픽은 최근 1830억 달러 기업가치를 인정받으며 130억 달러의 신규 투자를 유치한 바 있습니다. 연매출 또한 올해 10월 기준 50억 달러를 돌파하며 급성장하고 있습니다.
하지만 아모데이 CEO는 “AI가 사람 통제 밖에서 스스로 움직일 확률이 25%”라며, 사회 붕괴와 실존적 위협을 초래할 수 있다는 점을 강조했습니다.
AI가 기업을 운영하다가 언젠가 소유주를 시스템 밖으로 배제할 수 있다는 경고도 곁들였습니다.
AI의 불확실성과 자율성, 그리고 그로 인한 사회적·윤리적 위험성이 실제 실험에서 드러남에 따라, 앤트로픽은 국제 규제 및 협력이 반드시 필요하다고 밝혔습니다.
일각에서는 CEO의 경고에 과장이 있다는 비난도 있지만, AI의 목표-실행 불일치와 디지털 자율화에 따른 위험성은 많은 전문가 사이에서 심각하게 받아들여지고 있습니다.
