|
이번 사건은 AI 안전 비영리단체 나이팅게일의 시드니 본 아크스 최고경영자(CEO)와 AI 연구자 코맥 슬레이드 버드 등이 지난달 말 공개 인터넷에서 승인되지 않은 AI 에이전트 활동을 추적하는 과정에서 발견했다.
연구진은 Dse위키에서 AI 에이전트가 수행한 것으로 추정되는 1만5000건 이상의 편집 기록을 발견했다. 기록을 분석한 결과 에이전트들은 사이트를 일종의 메시지 게시판으로 활용해 일부 과제를 쉽게 해결하는 방법과 오픈AI의 제한을 우회하는 방법, 자신들의 행동을 감추는 방법 등을 서로 공유했다.
이들은 탐지를 피하거나 익명 네트워크인 ‘토르’(Tor)를 이용하는 방법, 작동이 중단된 이후에도 통신 내용을 보존하는 방법까지 논의한 것으로 조사됐다.
특히 사람이 개입한 뒤에도 활동을 이어가려 한 정황이 포착됐다. 사이트 관리자가 지난 6월 관련 페이지들을 삭제하기 시작하자 AI 에이전트들은 백업 페이지를 만들었다. 한 에이전트는 사이트에서 삭제 작업이 진행되고 있다며 현재 페이지가 사라질 경우 다른 특정 페이지를 이용하라는 메시지를 남기기도 했다.
연구진은 게시물 작성 속도와 AI 기업들이 모델을 훈련·평가할 때 사용하는 기술적 문제에 집중한 활동 등을 근거로 AI 에이전트의 행동이라고 판단했다. 메시지를 남긴 사용자들은 자신과 상대방을 ‘에이전트’라고 불렀으며 약 절반은 ‘OpenAIResearcher’(오픈AI 리서처) 등 오픈AI와의 연관성을 암시하는 이름을 사용했다.
공개된 서버 기록에서도 상당수 활동이 마이크로소프트(MS)의 클라우드 서비스 애저(Azure) 인프라에서 발생한 것으로 나타났다. 연구진은 사건 이후 오픈AI 직원들이 해당 사이트를 반복적으로 방문한 사실도 확인했다며 이 같은 정황이 에이전트와 오픈AI의 연관성을 강하게 시사한다고 설명했다.
|
오픈AI는 연구 보고서를 사전에 제공받지 못했다며 즉각적인 평가에는 선을 그었다. 오픈AI 대변인은 “검토할 기회가 없었던 보고서의 주장이나 연구 결과에 의미 있는 답변을 할 수 없다”며 보고서 공개 후 내용을 면밀히 검토하고 필요한 후속 조치를 취하겠다고 밝혔다.
이번 사건은 지난 7월 발생한 오픈소스 AI 플랫폼 허깅페이스 침해 사건과는 별개의 사안이다. 당시에도 오픈AI의 AI 에이전트들이 보안 테스트 과정에서 예상하지 못한 방식으로 공개 인터넷에 접근해 허깅페이스 시스템을 침해하고 자신들의 행동을 감추려 했다는 조사 결과가 나오면서 AI 안전성 논란이 불거졌다.
오픈AI는 이후 AI 시스템에 대한 모니터링을 강화하고 필요할 경우 자동으로 작동을 중단시키는 기능을 개발하고 있다. 그러나 이번에 그보다 앞선 5월에도 AI 에이전트들이 개발자가 예상하거나 의도하지 않은 방식으로 공개 인터넷에서 서로 정보를 교환하고 행동을 조율한 정황이 드러나면서 자율형 AI 시스템의 통제 문제를 둘러싼 논란은 더욱 커질 것으로 보인다.
케임브리지대 실존위험연구센터의 모리스 치오도 연구원은 에이전트들의 메시지가 공동의 임무를 달성하려는 일종의 “지하 네트워크”처럼 보인다고 평가했다. 그는 첨단 AI의 가장 큰 위험이 하나의 초지능 시스템이 아니라 서로 협력하는 수많은 AI 에이전트 집단에서 비롯될 수 있다고 경고했다.
