AI를 얼마나 신뢰하는지와 실제로 AI를 관리할 수 있는 역량의 차이도 지난해보다 크게 줄었다. AI에 대한 기대 수준은 낮아진 반면 관리 체계는 강화되면서 AI를 보다 현실적으로 받아들이기 시작했다는 분석이다.
|
반면 AI를 관리하고 통제할 수 있는 역량은 같은 기간 45점에서 57.1점으로 높아졌다. 기업이 AI를 책임 있게 운영하고 감독할 수 있는 관리 체계를 얼마나 갖췄는지를 보여주는 지표다.
이에 따라 AI에 대한 신뢰도와 관리 역량의 차이는 지난해 28.9점에서 올해 1.5점으로 27.4점 줄었다. AI에 대한 기대는 낮아졌지만, 실제 관리 역량은 높아지면서 두 지표가 비슷한 수준으로 좁혀진 것이다.
관리 체계도 개선됐다. 특히 ‘모델 거버넌스 및 감독’ 점수는 55.8점으로 1년 새 9.3점 상승했다. AI 모델을 관리하고 감독하는 체계가 강화된 것으로 풀이된다.
다만 AI의 판단을 설명하거나 데이터를 체계적으로 관리하는 기반은 여전히 부족했다. ‘설명 가능성 및 공정성’ 점수는 54.6점, ‘데이터 품질 및 거버넌스’ 점수는 53.9점이었다. 모든 AI 프로젝트에 데이터 품질 관리 절차를 의무적으로 적용하는 기업도 1.9%에 불과했다.
AI가 스스로 판단하고 여러 업무를 수행하는 ‘에이전틱 AI’도 확산되고 있다. 한국 기업의 에이전틱 AI 도입률은 42.6%로 나타났다. 여기서 도입률은 조사 대상 한국 기업 가운데 에이전틱 AI를 실제 업무에 도입했다고 응답한 기업의 비율이다.
하지만 AI가 내놓은 결과를 그대로 사용하는 경우는 드물었다. 조사 대상 사용자의 97.2%가 AI의 결과를 직접 수정한 경험이 있다고 답했다. 가장 큰 이유는 AI가 왜 그런 판단을 내렸는지 설명하지 못하기 때문이었다.
글로벌 조사에서도 AI의 자율성이 높아질수록 신뢰하기가 어려워지는 경향이 나타났다. 생성형 AI를 신뢰한다는 응답은 76%였지만, 스스로 판단해 행동하는 에이전틱 AI를 신뢰한다는 응답은 66%로 10%포인트 낮았다. 이는 글로벌 조사 응답자 기준이다.
AI를 제대로 관리하는 기업은 투자 성과에서도 차이를 보였다. 신뢰할 수 있는 AI 관리 관행을 갖춘 글로벌 선도 기업 가운데 높은 수준의 투자수익률(ROI)을 기록한 곳은 62%였다. 상대적으로 관리 체계가 뒤처진 기업은 4%에 그쳤다. SAS는 이를 바탕으로 두 집단 간 높은 ROI 달성 비율에 15배 차이가 있다고 분석했다.
데이터 인프라도 중요한 변수였다. 에이전틱 AI를 충분히 지원할 수 있는 최적화 단계의 데이터 인프라를 갖춘 기업은 글로벌 조사 대상의 17.5%에 불과했다. 하지만 이들 기업은 AI 품질과 설명 가능성을 관리하는 절차를 의무화할 가능성이 다른 기업보다 6배 높았고, 높은 ROI를 거둘 가능성도 약 4배 높았다.
이중혁 SAS코리아 대표는 “한국 기업들의 AI에 대한 기대와 실제 관리 역량 사이의 차이가 1년 사이 크게 줄어든 것은 현실적인 위험 인식이 빠르게 이뤄지고 있다는 의미”라며 “AI 활용을 실제 사업 성과로 연결하려면 AI가 어떤 근거로 판단했는지 설명할 수 있는 체계와 정확한 데이터를 갖춰야 한다”고 말했다.
전대일 IDC AI 리서치 수석연구원은 “AI가 점점 스스로 판단하고 움직이면서 완전히 이해하지 못하는 시스템을 어떻게 신뢰할 것인지가 새로운 과제가 됐다”며 “관리·감독과 설명 가능성, 책임성, 탄탄한 데이터 기반이 AI 확산의 필수 조건”이라고 설명했다.
