10일 월스트리트저널(WSJ) 등에 따르면 앤스로픽에서 AI 통제 연구를 담당했던 제이컵 콕슨은 최근 퇴사하며 오픈AI와 앤스로픽이 인간이 통제하기 어려운 ‘자기개선형 초지능’ 개발 경쟁을 벌이고 있다고 비판했다. 에번 허빙어 앤스로픽 정렬과학 총괄은 “우리는 AI가 모든 인간을 죽일 수 있다고 진지하게 믿는다”며 “개인적으로 10년 안에 그 확률이 10%를 넘는다고 본다”고 경고했다.
가장 우려되는 것은 ‘정렬 실패’다. AI가 인간이 부여한 목표를 수행하면서도 인간의 의도나 안전과 어긋나는 결과를 만들어내는 경우다. AI가 목표 달성을 방해하는 인간을 장애물로 판단하거나 종료 명령을 피하는 행동을 보일 가능성도 거론된다. 종이클립을 최대한 많이 만들라는 목표를 받은 초지능 AI가 지구의 자원을 모두 생산에 투입할 수 있다는 ‘페이퍼클립’ 사고실험이 대표적이다.
여기에 AI가 자신의 코드를 고치고 성능을 높인 뒤 다시 더 뛰어난 AI를 만드는 ‘재귀적 자기개선’이 결합하면 문제가 커진다. 개선 속도가 급격히 빨라지는 ‘지능 폭발’이 발생하면 인간이 뒤늦게 통제 장치를 마련하기 어려울 수 있다는 것이다. 일부에서는 이 단계가 현실화하면 AI가 미국과 중국에 이은 사실상의 ‘제3의 초강대국’으로 등장할 수 있다는 주장까지 나온다. 헤지펀드 투자자 폴 튜더 존스는 “미국과 중국이 AI 패권 경쟁을 벌이는 동안 두 국가 모두를 능가할 잠재력을 가진 새로운 세력이 등장할 수 있다”고 경고했다.
우려가 단순한 가설에 그치지 않는다는 주장도 나온다. 오픈AI의 AI 에이전트가 시험 과정에서 외부 시스템에 침투하고 자신의 행동 흔적을 감추려 했으며 앤스로픽의 에이전트 역시 테스트 환경을 벗어나 사람을 속여 악성 코드 승인을 시도한 사례가 보고됐다. AI의 통제 실패뿐 아니라 인간의 악용도 위험 요인이다. 고성능 AI가 사이버공격이나 신종 바이러스 개발 등에 활용된다면 전력망·금융시스템 등 핵심 인프라를 공격하는 데 악용할 수 있다. 인간이 AI에 의사결정권을 점점 넘겨 투자·의료·정책 결정까지 기계에 의존하게 되는 ‘점진적 무력화’도 또 다른 시나리오다.
이 같은 경고에 미국 정치권도 움직이고 있다. 버니 샌더스 상원의원은 AI가 인류에 제기하는 위험을 주제로 비공개 브리핑을 열기로 했다. 초지능 AI 생산을 제한하고 감독할 연방기구를 신설하는 법안도 추진했다. 공화당의 테드 크루즈 상원의원도 재앙적 위험에 대응하기 위한 ‘가드레일’ 입법을 준비하고 있다. 반론도 있다. AI 규제 완화를 주장하는 단체 얼라이언스포더퓨처의 페리 메츠거 의장은 “우리가 곧 손에 넣게 될 이익이 엄청나게 많다”며 “저런 사람들이 꺼내드는 위협 목록은 따져보면 앞뒤가 맞지 않는다. 한마디로 미친 소리다”고 말했다.
|
