"우리 손으로 적을 키우고 있다"…AI 연구자들의 섬뜩한 경고

[뉴욕=이데일리 성주원 특파원] “중국만이 우리의 잠재적 적은 아니다. 상당히 높은 확률로 우리는 바로 여기 미국에서 우리 자신의 적을 만들고 키우기 위해 경쟁하고 있다.”

구글 딥마인드 출신 인공지능(AI) 연구자 알렉스 터너가 5일(현지시간) 뉴욕시의회에서 던진 경고다. 그가 말한 ‘적’은 인간의 의도와 목표에서 벗어난 ‘잘못 정렬된 AI(misaligned AI)’다. 터너는 “잘못 정렬된 AI는 우리를 포함한 모두의 적”이라며 “언젠가는 중국보다 더 강력해질 수도 있다”고 말했다.

인공지능(AI) 연구자 제이컵 콕슨이 5일(현지시간) 미국 뉴욕에서 시의회 청문회에서 증언하고 있다. 오픈AI와 앤트로픽에서 근무했던 콕슨은 "AI 기업들이 우리의 생명을 걸고 도박하고 있다"고 경고해왔다. (사진=뉴욕시의회)

CNBC에 따르면 이날 터너의 발언은 줄리 메닌 뉴욕시의회 의장이 중국과의 기술 경쟁 속에서 최첨단 AI 모델 개발과 안전 사이에서 어떻게 균형을 잡아야 하는지를 묻는 과정에서 나왔다. 미·중 AI 기술 경쟁이 치열해지는 상황에서 오히려 통제되지 않는 AI 자체가 더 큰 위협이 될 수 있다는 주장이다.

이날 뉴욕시의회에는 AI 산업을 대표하는 기업들과 전·현직 연구자들이 한꺼번에 모였다. 앤스로픽의 프런티어 레드팀 책임자 로건 그레이엄, 오픈AI의 정책개발·운영 책임자 모건 드와이어, 구글의 AI·신흥기술 정책 담당 이사 앨리스 프렌드, 메타의 AI 입법정책 담당 이사 셰인 케이힐 등이 선서하고 증언했다.

“인류가 AI 통제 잃을 가능성 더 높다”

기업 관계자들과 함께 증언대에 선 AI 연구자들의 경고 수위는 높았다.

AI의 심각한 위험을 제기하며 앤스로픽을 떠난 내부고발자 제이컵 콕슨은 현재 AI 업계의 개발 방식을 “극도로 무모하다(extremely reckless)”고 비판했다. 그는 “현재 경로대로라면 인류가 이 AI들에 대한 통제력을 잃을 가능성이 그렇지 않을 가능성보다 높다고 생각한다”며 “이는 인류 멸종으로 끝날 수도 있다”고 주장했다.

콕슨과 오픈AI 출신 연구자 대니얼 코코타일로는 특히 실리콘밸리의 ‘빠르게 움직이고 깨뜨려라(move fast and break things)’ 문화가 AI 개발에 적용되는 것을 문제 삼았다.

콕슨은 이런 방식이 “사진 공유 앱”을 만드는 데는 통할 수 있지만 “지금까지 만들어진 가장 강력한 기술”을 개발하는 데 적용해서는 안 된다고 지적했다. 코코타일로 역시 AI 기업들에 투명성을 높이고 최첨단 모델 개발 속도를 늦출 것을 요구했다.

이 같은 경고는 최근 AI 안전성 논쟁이 다시 거세지는 가운데 나왔다. CNBC에 따르면 콕슨은 앤스로픽을 떠난 뒤 앤스로픽과 오픈AI가 “우리의 목숨을 걸고 도박하고 있다”고 주장해 논란을 촉발했다. 지난달에는 업계 연구자들이 두 회사가 인류 멸종을 포함한 파국적 피해를 일으킬 가능성이 있는 모델 개발 경쟁을 벌이고 있다고 경고하면서 정부 감독을 강화해야 한다는 목소리도 커졌다.

“AI가 사람 죽이면 누가 책임지나”

5일(현지시간) 미국 뉴욕시의회에서 인공지능(AI)의 안전성과 위험, 규제 방안을 논의하기 위한 청문회가 열리고 있다. (사진=뉴욕시의회)

뉴욕시의회는 ‘실제 피해가 발생하면 누가 책임질 것인가’를 기업들에 물었다.

메닌 의장은 AI 모델 때문에 심각한 금전적 피해가 발생하거나 사람이 사망했을 경우 법적 책임을 누가 져야 하는지를 물었다. 그러나 기업 측에서 명확한 답변이 나오지 않자 메닌 의장은 “좋게 봐도 우려스럽다(troubling at best)”고 지적했다.

구글의 프렌드 이사는 “구글은 기존 법적 체계가 AI에도 적용된다고 본다”며 “AI 없이 하면 불법인 것은 AI를 이용해도 여전히 불법”이라고 답했다. 그는 국가안보 우려 등을 고려해 증가하는 AI 위험을 다룰 포괄적인 연방 차원의 제도도 필요하다고 주장했다.

기업들이 파국적 사고 가능성을 구체적으로 제시하지 못하자 메닌 의장은 “그렇다면 여기 있는 네 회사 가운데 어느 곳도 파국적인 일이 발생할 위험을 수치화할 수 없다는 뜻으로 받아들이겠다”고 말했다.

AI 기업들의 안전관리 체계에 대한 의구심도 커지고 있다. CNBC에 따르면 오픈AI는 지난 여름 자사 모델 2개가 통제 환경을 벗어나 공개 인터넷에 접근하고 오픈소스 개발 플랫폼 허깅페이스의 시스템에 침투한 사례를 공개했다. 이후 앤스로픽과 구글, 메타도 자체 AI 모델이 통제를 벗어난 사례를 공개했다.

“AI 자율규제는 말이 안된다”

메닌 의장은 AI 기업들의 자율규제에도 선을 그었다. 도널드 트럼프 미국 대통령이 지난주 워싱턴에서 기술기업 지도자들과 자발적 협약을 체결한 것을 언급하며 “AI가 스스로 규제할 것이라는 생각은 모든 이성에 반한다”고 비판했다.

이날 청문회는 뉴욕시의원 51명 전원이 참석할 것으로 예상된 이례적인 ‘전체위원회(Committee of the Whole)’ 방식으로 열렸다. 시의회는 기업들에 AI가 초래할 수 있는 위협을 설명하고 향후 규제 입법에 대한 의견을 제시하도록 요구했다.

기업들이 처음부터 순순히 응한 것도 아니었다. 메타는 지난달 말 참석을 확인했지만 앤스로픽과 오픈AI, 구글은 시의회가 소환 가능성을 경고한 뒤 출석에 동의했다고 메닌 의장은 밝혔다.

소환장을 받고도 모습을 드러내지 않은 곳도 있었다. 일론 머스크의 스페이스XAI(스페이스X의 AI사업부)다. 메닌 의장은 스페이스XAI의 불참이 지난주 시의회가 발부한 소환장에 대한 “직접적인 위반”이라며 법원에서 대응하겠다고 밝혔다.

(사진=AFP)