인공지능(AI) 챗봇 서비스에서 미성년자를 대상으로 한 성폭력·성착취 관련 대화가 생성되고, 유해 콘텐츠 차단 기능을 우회하는 방법까지 제시됐다는 의혹이 제기됐다. 청소년들이 이용하는 대화형 AI 서비스의 안전장치가 충분한지 논란이 커지면서, 플랫폼 사업자의 관리 책임과 미성년자 보호 대책을 강화해야 한다는 목소리가 나오고 있다.

뉴스1은 10월 11일 보도에서 AI 챗봇 서비스 ‘제타’가 성인 인증 없이 이용할 수 있는 환경에서 미성년자 캐릭터를 대상으로 성폭력과 성착취를 묘사하는 대화를 생성한 사례가 확인됐다고 전했다. 보도에 따르면 일부 대화에서는 유해 콘텐츠 차단 기능이 작동한 뒤에도 필터를 우회하는 방법을 안내하는 내용이 나타났다.

해당 문제는 국회 과학기술정보방송통신위원회 소속 황정아 의원이 서비스 운영사인 스캐터랩으로부터 제출받은 자료를 확인하는 과정에서 제기됐다. 보도에 따르면 2026년 9월 말 기준 제타의 월간 활성 이용자 수는 약 148만 명이며, 이 가운데 19세 이하 이용자는 약 38만 명으로 집계됐다. 청소년 이용자가 적지 않은 서비스인 만큼, 유해 대화 생성 문제는 단순한 콘텐츠 관리 차원을 넘어 미성년자 보호와 직결되는 사안으로 받아들여지고 있다.

대화형 AI 서비스는 이용자가 입력한 문맥과 요청에 따라 새로운 문장을 생성한다. 이 과정에서 안전장치가 제대로 작동하지 않으면 성적 착취나 폭력, 자해 등 미성년자에게 부적절한 콘텐츠가 생성될 가능성이 있다. 특히 사용자가 금지된 내용을 다른 표현으로 바꾸거나 여러 단계의 요청으로 나눠 입력할 경우 차단 시스템이 이를 제대로 식별하지 못하는 문제가 발생할 수 있다.

이번 논란에서 중요한 쟁점은 안전모드가 제공되고 있다는 사실만으로 충분한 보호가 보장되는 것은 아니라는 점이다. 서비스가 청소년 보호 기능을 운영하더라도 실제 이용 환경에서 유해 콘텐츠가 생성되는지 지속적으로 시험하고, 차단을 우회하는 방식이 확인될 경우 신속하게 보완해야 한다. 안전장치의 성능을 외부에서 검증할 수 있는 절차와 사고 발생 시 대응 체계도 필요하다.

플랫폼 운영사는 유해 대화를 차단하기 위한 긴급 조치를 강화한 것으로 보도됐다. 그러나 구체적으로 어떤 기능을 변경했는지, 문제 사례가 어느 범위에서 발생했는지, 동일한 유형의 대화가 추가로 생성될 수 있는지는 후속 확인이 필요하다. 서비스 제공자가 밝힌 조치만으로 문제가 완전히 해결됐다고 판단하기보다 실제 차단 성능과 재발 방지 대책을 살펴봐야 한다.

청소년의 AI 이용이 학습과 창작, 일상적인 대화 등으로 확대되는 상황에서 보호 체계는 기술 발전과 함께 개선돼야 한다. 연령 확인, 민감 콘텐츠 제한, 이용자 신고 기능, 보호자 안내, 위험 상황에 대한 신속한 대응 등이 종합적으로 작동해야 한다. 학교와 가정에서도 AI가 제공하는 답변을 무조건 신뢰하기보다 개인정보와 민감한 내용을 입력하지 않도록 지도할 필요가 있다.

이번 사안은 AI 서비스의 안전성을 평가할 때 기능의 존재뿐 아니라 실제 작동 여부와 운영사의 책임이 중요하다는 점을 보여준다. 향후 관계 당국과 국회가 관련 자료를 추가로 확인하고, 미성년자 보호를 위한 기준과 사업자의 의무를 어떻게 강화할지 주목된다.