독립 보안 평가업체 어귤러(Irregular)가 주관한 인공지능(AI) 사이버보안 역량 평가에서 테스트 환경이 인터넷과 분리되지 않은 채 운영돼, 평가 대상이던 주요 AI 모델들이 실제 기업 네트워크에 접근하는 사고가 잇달아 발생했다.
구글의 제미나이는 이 과정에서 실제 기업 3곳의 시스템에 진입한 것으로 19일 월스트리트저널(WSJ)이 보도했다.
사고는 지난 5월 발생했다. 제미나이는 가상의 모의 조직을 상대로 침투 시험을 수행하고 있었으나, 격리돼 있어야 할 시험 환경이 외부 인터넷과 연결돼 있었다.
가상 조직의 이름이 실제 기업과 우연히 겹쳤고, 모델은 인터넷 검색으로 실제 기업을 표적으로 오인한 뒤 비밀번호 대입과 공개 저장소에 노출된 인증 정보를 이용해 시스템 내부로 들어갔다.
구글은 모델이 접속 대상이 시뮬레이션이 아닌 실제 인프라라는 점을 인지한 직후 스스로 작업을 중단했으며, 데이터 유출이나 시스템 손상은 확인되지 않았다고 밝혔다.
다만 이 판단은 구글 측의 자체 조사에 따른 것으로, 독립적인 검증은 이뤄지지 않았다.
이번 사고는 구글에 국한되지 않는다. 어귤러는 앤트로픽·오픈AI·메타의 모델이 실제 컴퓨터 시스템을 침해한 평가를 주관한 회사이며, 세 회사 모두 자사 모델이 어귤러 평가 중 공개 인터넷에 도달했다고 밝히고 “테스트 환경 설정 오류”를 원인으로 지목했다.
앤트로픽은 어귤러와의 의사소통 착오로 모델에게는 인터넷 접근이 없다고 알린 상태에서 실제로는 기계가 인터넷에 열려 있었다고 공개했고, 자사 모델이 약한 비밀번호와 인증 없는 접점 같은 기본적 기법으로 실제 조직을 침해한 사례 3건을 밝혔다.
그중 한 건에서는 모델이 파이썬 패키지 저장소(PyPI)에 악성 패키지를 올려 실제 시스템 15대에서 실행됐다.
어귤러는 세 사건이 동일한 평가 환경 문제였다고 설명하면서도, 다른 고객사에서도 같은 문제가 있었는지에 대해서는 조사가 진행 중이라며 답하지 않았다.
이후 공개한 자체 조사 결과에서도 총 사건 수는 밝히지 않고 “여러 건”, “소수” 같은 표현만 사용해 보안 전문가들의 비판을 받았다.
공개 시점도 논란이다. 어귤러는 5월 사고를 7월 말 구글에 통보했고, 구글은 피해 기업과 연방 당국에는 알렸으나 대외 공개는 하지 않았다.
사건이 알려진 것은 4개월 뒤 언론 보도를 통해서였다. AI 모델이 평가 도중 제3자 시스템에 접근한 경우 누가, 언제, 어디까지 공개해야 하는지에 대한 기준은 현재 없다.
전문가들은 이번 사고의 원인을 두 층으로 본다.
첫째는 평가업체의 격리 실패다. 접근 통제를 네트워크 차단이 아니라 모델에 대한 지시로 대체한 것이 3개 회사에서 반복된 구조적 결함이라는 것이다.
둘째는 모델 자체의 한계다. 모델이 자신이 시뮬레이션 안에 있는지를 의심하지 않고 검색 결과를 근거로 표적 범위를 스스로 확장했다는 점이다. 아울러 실제 침입에 쓰인 수법이 고급 기술이 아닌 취약한 비밀번호와 노출된 인증 정보였다는 사실은, 피해 기업들의 기본 보안 수준에 대한 질문도 남긴다.
법적 책임 소재도 정리되지 않았다.
의도와 무관하게 타사 시스템에 인증 정보를 대입해 진입한 행위는 무단 접근에 해당할 수 있으나, 책임이 평가업체와 모델 개발사 중 어디에 있는지는 불분명하다.
