내손으로 썼는데 49% 표절? 못 믿을 AI 탐지 프로그램

[이데일리 석지헌 기자 김태섭 수습기자] 국민대에 재학 중인 박모(22) 씨는 최근 중간고사 대체 에세지 제출과정에서 황당한 일을 겪었다. 인공지능(AI)을 전혀 사용하지 않고 직접 작성했지만 제출 전 필수로 거쳐야 하는 ‘GPT킬러’ 검사에서 표절률이 49%로 나와서다. 교수의 인정 기준(8%)를 한참 웃도는 수치였다. 박씨는 “마감은 다가오는데 표절률이 줄지 않아 초조했다”며 “지적된 문장의 어투와 표현을 고치거나 아예 지워버리면서 겨우 수치를 맞췄다”고 말했다.

3일 이데일리 취재를 종합하면 최근 대학가에서 과제·에세이 제출 시 AI 표절 탐지 서비스 결과를 함께 첨부토록 요구하는 사례가 늘고 있다. 과제 수행 과정에서 AI를 사용하는 학생들이 증가하면서 교수들이 짜낸 고육지책이다.

생성형 AI 작성 여부를 판별하는 이른바 ‘GPT킬러’ 서비스를 운영하는 무하유에 따르면 올해 1학기 중간고사 기간이었던 지난 4월 GPT킬러 검사 문서량은 85만 2000여건으로 전년 동기(38만 6000여건) 대비 120.7%나 늘었다. 같은 기간 교수자가 사용하는 서비스의 검사 문서량도 32만 8000여건에서 57만 7000여건으로 75.9% 늘었다.

문제는 AI 탐지서비스의 신뢰도다. 박씨처럼 AI의 도움을 받지 않고 작성한 과제물도 표절률이 높게 나타나는 경우가 많아서다.

국내 한 대학교 교정. 최근 대학가에는 과제물 제출과정에서 인공지능 사용여부를 가늠하기 위해 서비스 이용이 늘면서 학생과 교수진 간 갈등을 일으키고 있다. (사진= 연합뉴스)

한국항공대에 다니는 신모(26) 씨도 AI 없이 직접 작성한 중간보고서의 표절률이 60%가량 나왔다고 했다. 핵심 문단 하나가 통째로 ‘AI 의심 구간’으로 지정됐다. 신씨는 “몇 시간을 고민해 쓴 글을 무슨 기준으로 표절이라 판단하는지 이해할 수 없었다”고 토로했다. 오히려 초안을 직접 쓰고 챗GPT로 맞춤법과 표현을 다듬은 기말보고서의 표절률은 5%에 그쳤다고 했다.

실제 취재진이 AI 등장 이전에 직접 작성한 대학 과제물을 GPT킬러에 넣자 39.8%의 표절률이 나왔다. 동일 주제·분량으로 챗GPT에 즉석에서 작성시킨 글의 표절률은 38.7%였다. 사람이 직접 쓴 글과 AI가 100% 작성한 글의 판정 결과가 사실상 같았던 셈이다.

전문가들은 AI 탐지 서비스가 확률에 기반한 통계 모델인 만큼 오탐 가능성을 완전히 피하기 어렵다고 설명한다. 생성형 AI에 쓰이는 대규모언어모델(LLM)이 방대한 데이터를 학습해 사람이 쓴 글과 유사한 패턴의 텍스트를 만들어내는 구조라 논리 구조나 표현이 정형화되기 쉬운 대학 과제물이나 논문 등이 오탐에 취약할 수 있다는 것이다.

심지어 GPT킬러와 같은 AI 표절 탐지에서 벗어날 수 있는 우회 서비스도 등장했다. 소위 ‘창과 방패’의 대결이 되고 있는 것이다.

교수들도 온라인 제출을 줄이고 오프라인 평가를 늘리는 방식을 택하고 있다. 박규철 국민대 교양대학 교수는 “다음 학기부터는 보고서 대체 대신 지필고사를 보기로 했다”며 “1~2년 전까지만 해도 AI 표절 탐지 서비스를 거치면 신뢰할 만했다. 우회 서비스가 등장한 뒤로는 현실적으로 판별이 어렵겠다는 생각이 들었다”고 말했다.

전문가들은 탐지 서비스 결과에 전적으로 의존해선 안 된다고 입을 모은다. 문형남 한국AI교육협회 회장은 “호주 고등교육 품질기관도 AI 탐지 점수만으로 부정행위 의혹을 제기하기엔 불충분하다고 안내한다”며 “최종 판단은 반드시 작성 과정과 다른 증거를 종합해 사람이 내려야 한다”고 강조했다.