“AI가 스스로 제로데이 찾는다”…하정우 전 수석 “망분리로 해결할 문제 아니다”

[이데일리 김현아 기자] 오픈AI의 차세대 인공지능(AI) 모델 ‘아스트라(Astra)’가 수학·과학 연구에 이어 사이버보안에서도 새로운 수준의 능력을 보이고 있다.

사람의 개입 없이 실제 환경에서 제로데이 취약점(아직 제대로 막지 못한 보안 구멍)을 찾아내고 공격 전략을 처음부터 끝까지 수행할 가능성이 제기되면서, 프런티어 AI의 안전 관리 기준을 다시 정비해야 한다는 지적이 나온다.

하정우 전 대통령실 AI 미래기획수석비서관은 최근 자신의 페이스북을 통해 오픈AI의 프런티어 AI 안전평가 체계인 ‘프리페어드니스 프레임워크(Preparedness Framework)’를 소개하면서 아스트라가 사이버보안 분야에서 최고 위험등급인 ‘크리티컬(Critical)’에 해당할 가능성이 있다고 분석했다.

하정우 전 청와대 AI미래기획수석이 지난달 21일 서울 종로구 한국불교역사문화기념관에서 열린 'AI 시대, 한국불교의 미래를 말하다' 에 참석하고 있다. [이데일리 방인권 기자]

아스트라, 사이버보안 최고 위험등급 가능성

오픈AI는 2023년 12월부터 프리페어드니스 프레임워크를 통해 프런티어 AI의 고위험 역량을 평가해왔다. 사이버보안, 화학·생물학 등 주요 위험 영역을 평가하고 위험 수준을 관리하는 체계다. 위험 수준은 ‘로우(Low)·미디엄(Medium)·하이(High)·크리티컬(Critical)’ 등 4단계로 나뉜다.

하 전 수석은 자신의 글에서 “대표 모델은 o1이 전반적 medium에 사이버는 low다. GPT5로 오면서 일부 모델이 생물화학에 High를 받았고 코덱스는 사이버분야 High이고 5.6-Sol도 High다”라고 설명했다.

아스트라가 주목받는 이유는 이보다 한 단계 높은 ‘크리티컬’ 가능성이 제기됐기 때문이다.

하 전 수석에 따르면 크리티컬 등급의 핵심 기준은 AI가 사람의 도움 없이 실제 환경에서 보안이 강화된 핵심 시스템을 대상으로 실제로 작동하는 제로데이 취약점을 찾아내고 개발할 수 있는지 여부다. 높은 수준의 목표만 제시해도 새로운 사이버 공격 전략을 처음부터 끝까지 스스로 고안하고 실행할 수 있는 경우도 해당된다.

그는 “이것이 가능하면 Critical 이라는데 조기 테스트 만으로 이 조건을 만족한 것으로 보인다. 그래서 더 강력한 테스트를 외부와 함께 진행예정이라고 한다”고 썼다.

“해킹 AI 아니라 코딩·문제해결 능력의 결과”

더 주목할 부분은 아스트라가 애초부터 ‘해킹 AI’로 만들어진 모델이 아니라는 점이다.

하 전 수석은 “이 모델은 보안특화 AI가 아니다. 코딩과 문제해결능력이 워낙 출중해서 문제해결을 위한 방법으로 사이버 공격·방어 능력이 발현되는 것”이라고 지적했다.

AI의 코딩과 추론 능력이 일정 수준을 넘어서면서 사이버 공격과 방어라는 전혀 다른 영역에서도 능력이 나타나고 있다는 것이다.

이는 AI 안전성 평가의 범위도 달라져야 한다는 의미다. 특정 위험 기능을 차단하는 방식만으로는 고도화된 프런티어 AI의 예상치 못한 능력 발현을 모두 관리하기 어렵기 때문이다.

수학 난제도 도전…“새로운 지식인지는 검증 필요”

아스트라의 능력은 사이버보안에만 국한되지 않는다.

오픈AI는 지난 1일 내부 버전의 아스트라를 이용해 수학 및 이론 컴퓨터과학 분야 10개 난제에서 새로운 결과를 얻었다고 발표했다. 고차원 기하학, 부호 이론, 군론, 양자 복잡도, 격자 암호학 등 다양한 분야가 포함됐다.

오픈AI는 모델이 논증을 생성하고 이를 사람이 원고 형태로 정리한 뒤, 각 결과를 ‘린(Lean)’ 형식으로 검증할 수 있도록 했다고 설명했다.

다만 이 성과에 대해서는 신중한 검증이 필요하다는 지적도 나온다.

브라운대 응용수학과 박사과정 권현우 씨는 오픈AI의 발표에 대해 “수학 연구에서 새로운 방향성을 제시하는 것으로, 최근에 많이 발전한 부분에 대해서는 의의가 있다고 생각한다”고 평가했다.

특히 수학에서 매우 복잡한 구조로 꼽히는 ‘비소픽 군’이 실제로 존재한다는 것을 증명하는 과정에서 AI가 의미 있는 결과를 제시한 점에 주목했다. 다만 AI의 증명이 실제 새로운 수학적 발견인지 여부는 수학자들의 검증을 거쳐야 한다고 지적했다.

권 씨는 “수학 논문은 한번 논문이 올라오면 심사를 하는 데 기본 6개월이 걸린다. 그렇기 때문에 오픈AI가 주장한 게 참인지 아닌지를 검증하는 데에는 매우 많은 시간이 걸린다”고 말했다.

다만 이번 발표가 과거와 다른 점으로는 린 형식화까지 공개했다는 점을 꼽았다.

아스트라는 한쪽에서는 새로운 수학적 결과를 만들어내고, 다른 한쪽에서는 사이버 공격·방어 능력에서도 기존 AI와 다른 수준의 가능성을 보여주고 있다. 프런티어 AI가 단순한 생성형 AI를 넘어 실제 문제를 해결하고 새로운 지식을 만들어내는 단계로 넘어가고 있다는 의미다.

“공공 중립 AI 안전평가 체계 필요”

문제는 AI의 능력이 커지는 만큼 위험성도 함께 높아진다는 점이다.

하 전 수석은 “앤스로픽(Anthropic)과 함께 두 회사 프런티어 AI들의 사이버보안 분야 잠재적 위험성이 점점 빠르게 증가하고 있고 이 때문에 공공 중립 AI 안전 관리 평가 체계를 만들고 운영하자는 최근 데미스 하사비스 주장이 설득력을 얻고 있다”고 강조했다.

AI 기업 스스로 안전성을 평가하는 것만으로 충분하지 않은 만큼 공공 영역에서 중립적인 평가체계를 구축해야 한다는 주장이다.

한국도 AI 안전·방어 역량 키워야

한국의 대응에 대해서도 강한 주문을 내놨다.

하 전 수석은 “이런 AI 시대 우리 프런티어 AI 기술 경쟁력 강화를 위해 지금까지 보다 훨씬 규모감 있고 집중된 기업과 학계, 정부가 힘 모을 정책, 제도, 투자가 필요하다”라며 “더불어 우리 AI 안전연구소 포함 안전체계도 이런 프런티어 AI 시대에 맞게 업그레이드 할 필요가 있다”고 했다.

이어 “프론티어 AI기반의 시스템 공방체계와 인재확보, 생태계 투자도 강력하고 속도감있게 진행돼야 겠다”고 강조했다.

AI 모델 개발 경쟁뿐 아니라 프런티어 AI를 대상으로 한 공격·방어 기술과 전문 인력, 안전 연구 생태계를 동시에 키워야 한다는 것이다.

“망분리로 돌아가면 AX 경쟁에서 뒤처져”

특히 하 전 수석이 경계한 것은 AI의 위험성을 이유로 과거식 망분리 정책으로 되돌아가는 것이다.

그는 “그리고 노파심에... 설마 그럴리는 없겠지만 이 기술을 이유로 물리적 망분리나 폐쇄망만이 답이라는 결론으로 이어지지 않기를 바란다. 그런다고 해결되는 것 없고 AX에 뒤쳐질 뿐”이라고 지적했다.

강력한 AI의 등장에 대응하는 방식은 AI를 무조건 외부 네트워크와 차단하는 것이 아니라, AI가 어떤 행동을 하는지 실시간으로 평가하고 통제할 수 있는 기술과 제도를 갖추는 데 초점을 맞춰야 한다는 의미다.

프런티어 AI 시대에는 AI의 성능과 안전성을 별개의 과제로 볼 수 없게 됐다는 평가다.

수학 난제를 풀고 과학적 발견을 지원하는 AI와 사이버 공격 능력을 가진 AI가 같은 기술적 진화 과정에서 나타난다면, AI 안전 역시 특정 기능에 한정된 규제가 아니라 프런티어 AI의 전반적인 능력 변화를 따라가야 한다는 의미다.