|
경찰청은 AI 도입으로 범죄예측, 수사, 교통관리 등 치안 업무 전반의 혁신이 가능해졌다고 평가하면서도 AI 시스템의 편향과 오인식, 인권 침해, 감시사회화로 이어질 위험성도 배제할 수 없다고 보고있다.
이와 함께 유럽연합 인공지능법(EU AI Act) 등 글로벌 규범이 본격화되면서 공공 영역에서도 ‘신뢰 가능한 AI’ 구축이 필수 과제로 떠오르고 있다. 이에 대응하기 위해 △기술 △거버넌스 △보안·위험관리 등을 중심으로 한 종합 전략이 필요하다는 게 이 서기관의 설명이다.
우선 기술 측면에서는 데이터 품질을 중심으로 한 ‘데이터 중심 AI’와 머신러닝 운영(MLOps) 기반 모델 생애주기 관리 체계 도입을 제시했다. 데이터 편향과 드리프트를 지속적으로 관리하고, 개인정보 보호를 설계 단계부터 반영하는 ‘프라이버시 바이 디자인’ 접근이 필요하다는 것이다.
이 서기관은 “데이터가 쌓일수록 모델이 스스로 왜곡되는 현상이 발생할 수 있다”며 “인간이 개입해 이를 지속적으로 감지하고 통제하는 체계를 처음부터 설계하고 있다”고 설명했다.
|
그는 “AI 판단 과정 전반에 인간이 개입할 수 있는 ‘휴먼 인 더 루프’ 구조를 구축해야 한다”며 “공정성, 투명성, 책임성을 동시에 확보할 것”이라고 말했다.
보안 분야에서는 프롬프트 인젝션, 데이터 오염, 모델 역공학 등 AI 특화 위협 대응이 과제로 떠올랐다. 경찰청은 이를 위해 예방·탐지·대응·복구로 이어지는 순환형 보안 구조를 설계하고, 이를 개별 업무가 아닌 포괄적인 시스템으로 만든다는 방침이다.
조직과 인력의 변화 필요성도 강조했다. AI 거버넌스 전담 조직을 중심으로 역량을 통합하고, 장기적으로는 최고 AI 책임자(CAIO) 도입도 검토해야 한다는 것이다.
이 서기관은 “기술 혁신이 국민의 안전과 인권을 동시에 보장하지 못한다면 의미가 없다”며 “AI의 능력과 한계를 냉정하게 인식하고 인간 중심으로 설계해야 한다”고 강조했다.







