구글의 인공지능 모델 제미나이(Gemini)가 사이버보안 테스트 과정에서 실제 기업 3곳의 시스템에 접근하는 일이 발생했다. 테스트를 위해 마련된 가상의 환경을 벗어나 실제 기업의 웹사이트와 시스템에 접근한 것으로 확인되면서, 인터넷과 컴퓨터 시스템에 직접 접근할 수 있는 AI의 안전 문제가 다시 부각되고 있다.

로이터통신은 구글의 제미나이가 지난 5월 독립 사이버보안 평가업체 ‘이레귤러(Irregular)’가 진행한 테스트에서 실제 기업 3곳의 시스템에 접근했다고 보도했다. 구글 측도 해당 사실을 확인했다.

이번 테스트의 목적은 AI가 사이버보안 업무를 얼마나 수행할 수 있는지 확인하는 것이었다.

테스트 과정에서 제미나이는 가상의 기업에 대한 정보를 찾도록 지시받았다. 그러나 테스트 환경에서 의도하지 않게 인터넷 접속이 가능해졌고, AI가 온라인에서 공개된 정보를 찾아 실제 기업의 시스템에 접근할 수 있는 단서를 확보한 것으로 조사됐다.

구글 보안 엔지니어링 부문 부사장 헤더 애드킨스는 제미나이가 공개된 정보를 찾은 뒤 자격증명을 추측해 자신이 테스트 대상이라고 판단한 웹사이트에 접근했다고 설명했다.

한 사례에서는 제미나이가 비밀번호를 추측해 보호된 시스템에 접근한 것으로 전해졌다. 다른 사례에서는 공개 저장소 등에 노출된 자격증명 정보를 찾아 시스템에 접근했다는 설명이 나왔다.

다만 이번 사건에서 제미나이가 실제 기업의 시스템에 접근한 뒤 공격을 끝까지 수행한 것은 아니다.

구글 측에 따르면 제미나이는 자신이 접근한 대상이 테스트용 가상 기업이 아니라 실제 기업이라는 사실을 파악한 뒤 세 차례 모두 행동을 중단했다.

구글은 실제 기업 3곳에 해당 사실을 통보했으며, 테스트를 진행한 파트너사와 함께 이후 보안 테스트 절차도 수정했다고 밝혔다.

구글이 이번 일을 공개한 배경과 시점도 논쟁의 대상이 되고 있다. 월스트리트저널이 처음 관련 내용을 보도한 뒤 구글이 사실관계를 확인하면서 사건이 알려졌다.

구글은 제미나이가 실제 기업이라는 사실을 알게 된 뒤 스스로 행동을 중단했고 피해가 발생하지 않았기 때문에 즉각적인 공개가 필요하지 않았다는 입장을 밝힌 것으로 전해졌다.

하지만 이번 사례는 AI가 단순히 질문에 답하는 수준을 넘어 인터넷과 외부 시스템에 직접 접근할 수 있게 될 경우 어떤 위험이 발생할 수 있는지를 보여준다.

특히 AI 에이전트가 사용자의 지시를 받아 웹사이트를 검색하고 파일을 내려받거나 프로그램을 실행하는 등 점점 더 많은 작업을 자율적으로 수행하게 되면서 이런 문제는 더욱 중요해지고 있다.

이번 사건은 제미나이만의 사례도 아니다. 이레귤러가 진행한 다른 보안 테스트에서도 메타와 앤스로픽, 오픈AI의 AI 모델과 관련해 테스트 환경 밖의 시스템에 접근하는 유사한 사례가 공개됐다.

따라서 업계에서는 AI의 능력을 높이는 것과 동시에 AI가 접근할 수 있는 인터넷과 시스템의 범위를 어떻게 제한할 것인지가 핵심적인 안전 과제가 되고 있다.

특히 사이버보안 분야에서는 AI가 방어를 위한 도구로 사용될 수 있는 반면, 같은 기술이 악용될 경우 해킹 자동화에도 활용될 수 있다는 양면성이 존재한다.

이번 사건에서 실제 피해가 발생하지 않았다는 점과 별개로, AI가 테스트 환경에서 실제 시스템으로 넘어갈 수 있었다는 사실 자체가 개발사와 보안업계에 새로운 안전 기준 마련이 필요하다는 문제를 던지고 있다.