AI 탐지기, 영어 원어민 아닌 사람 차별

AI 탐지 프로그램이 영어가 모국어가 아닌 사용자가 쓴 글을 AI가 작성한 것으로 잘못 분류한다는 연구 결과가 발표됐다.

AI가 생성한 작업을 식별하도록 설계된 소프트웨어가 영어가 모국어가 아닌 사용자를 부당하게 표적으로 삼을 수 있다는 우려가 제기됐다. 최근 연구에 따르면 이러한 AI 감지 도구가 영어 비원어민이 쓴 글을 AI가 생성한 것으로 잘못 분류하는 경우가 많아 학생, 학자, 구직자에 대한 잠재적 차별을 초래할 수 있다.

에세이를 작성하고, 문제를 풀고, 심지어 코딩까지 할 수 있는 생성형 AI 프로그램인 챗GPT가 등장하면서 많은 교사가 AI 탐지기를 "21세기형 부정행위를 막기 위한 중요한 대응책"으로 여기고 있다.

하지만 연구진은 이러한 탐지기가 주장하는 99%의 정확도는 "기껏해야 오해의 소지가 있다"는 의미라고 경고했다.

스탠퍼드대학 생의학 데이터과학 조교수인 제임스 조우가 이끄는 연구진은 영어가 모국어가 아닌 사람들이 작성한 91개 에세이를 7개의 유명 AI 탐지 프로그램을 통해 실행해 탐지 성능을 확인했다.

91개의 모든 에세이는 국제적으로 인정받는 영어 능력 시험인 토플(TOEFL)을 위해 작성되었다.

놀랍게도 에세이의 절반 이상이 AI가 작성한 것으로 잘못 표시되었으며, 한 프로그램은 에세이의 98%를 AI가 작성한 것으로 잘못 표시했다. 연구진이 미국에서 영어를 모국어로 사용하는 8학년 학생들이 작성한 에세이를 같은 프로그램을 통해 검사한 결과, 90% 이상이 사람이 작성한 것으로 분류됐다.

《패턴》 저널에 실린 논문에서 연구진은 이러한 AI 식별 프로그램이 사람이 작성한 글과 AI가 작성한 글을 구분하는 방식에 기인한다고 설명했다.

'텍스트 난해성'이라는 지표를 사용해 생성 언어 모델이 문장의 다음 단어를 예측할 때 얼마나 '놀랐는지' 또는 '혼란스러워하는지'를 측정하는 것이다. 모델이 다음 단어를 쉽게 예측할 수 있으면 텍스트 난해도가 낮게 평가되지만, 다음 단어를 예측하기 어려운 것으로 판명되면 텍스트 난해도가 높게 평가된다.

챗GPT와 같은 대규모 언어 모델은 난해도가 낮은 텍스트를 생성하도록 훈련되어 있다. 즉, 사람이 글을 쓸 때 익숙한 패턴의 일반적인 단어를 많이 사용하는 경우 AI가 생성한 텍스트로 오인될 위험이 있다는 것을 의미한다.

연구진은 영어가 모국어가 아닌 사용자의 경우 더 간단한 단어를 선택하는 경향이 있다보니 AI가 작성한 텍스트로 잘못 식별될 가능성이 크다고 분석했다.

아이러니하게도 연구진이 챗GPT를 사용해 보다 정교한 언어를 사용해 토플 에세이를 다시 작성하도록 요청한 뒤 수정된 에세이를 모두 AI 감지기를 돌린 결과 모두 사람이 쓴 것으로 표시됐다.

연구진은 "역설적이게도 GPT 탐지기는 비원어민들이 탐지를 피하기 위해 GPT를 더 많이 사용하도록 만들 수 있다"라고 말했다.

연구진은 "영어 비원어민에 대한 AI 탐지기의 차별은 심각하며, 영향을 줄이기 위해 이를 면밀히 검토해야 한다"라고 경고했다.

AI 탐지기는 대학 및 취업 지원서를 GPT로 작성된 것으로 잘못 표시할 수 있으며, 구글과 같은 검색 엔진이 AI로 작성된 콘텐츠로 평가된 것을 다운그레이드하기 때문에 인터넷에서 영어가 모국어가 아닌 사용자가 소외될 수 있다.

특히 AI 탐지기의 사용이 널리 퍼져 있는 교육 분야에서 상당한 영향을 미칠 수 있다. 영어 원어민이 아닌 학생들은 부정행위로 오해를 받을 위험이 더 크며, 이는 학생의 학업 경력과 정서 건강에 해로울 수 있다.

키프로스오픈대학의 키프로스 알고리즘투명성센터의 자나 오터바허는 AI 부정행위에 대처하기 위해 보다 신중한 접근 방식을 옹호했다. 그는 AI와 싸우기 위해 AI를 만드는 대신 창의적이고 윤리적인 방식으로 생성 AI 사용을 장려하는 학문적 문화를 조성할 것을 제안했다.

그는 "챗GPT는 대중에게서 끊임없이 데이터를 수집하고 사용자를 만족시키기 위해 학습하고 있으며, 결국에는 어떤 탐지기를 능가하는 방법을 배우게 될 것"이라고 말했다.