[I-오피니언] “챗GPT로 쓴 에세이, 뛰어나 보여도 내용은 오류 투성”

챗GPT로 작성한 에세이가 형식 면에서는 뛰어나 보이지만, 눈에 띄는 오류가 많다는 주장이 나왔다.

버지니아대학 미디어연구학 교수 시바 바이디아나탄 박사는 지난 19일(현지시간) 영국 일간 가디언에 대학생들의 챗GPT 사용과 관련한 칼럼을 남겼다.

그는 최근 학생들이 에세이를 작성할 때 인공지능(AI), 특히 챗GPT를 사용하는 트렌드를 발견했다고 말했다. 올 봄 120명이 수강하는 강의에서 AI 기반 표절 사례 4건을 발견했다. 해당 학생들은 챗GPT 사용에 대해 솔직하게 이야기했고 과제를 다시 하기로 동의했다.

많은 사람이 AI가 학문적 부정행위를 가능하게 하고 학습 과정을 약화시킬 수 있는 잠재력을 우려한다.

바이디아나탄 교수는 “2023년에 관찰된 바와 같이 챗GPT와 같은 시스템이 얼마나 저조한 성능을 보이는지, 그래서 AI가 생성한 제출물을 비교적 쉽게 감지할 수 있다는 점을 간과하는 경향이 많다”고 말했다.

“챗GPT를 활용한 에세이에는 눈에 띄는 오류가 포함되어 있거나, 문맥에서 벗어났거나, 사람의 생각이 아닌 듯한 기괴한 특성이 드러나기도 했다”고 설명했다.

교수는 버지니아대학에서 이러한 부정행위가 발생한 첫 사례라는 점과 '명예 코드'를 준수하겠다는 학생들의 서약을 고려해 이를 학습 기회로 활용하기로 결정했다. 그는 두 페이지 분량의 에세이를 작성하는 데 엄청난 노력이 필요하지 않은데도 학생들이 왜 AI에 의존하게 되었는지 이해하기 위해 관련 학생들과 대화를 시작했다. 학생들은 다른 과목과 일반적인 생활에 대한 부담감 때문이라고 답했다.

교양 있는 시민이 되고자 하는 열망 때문인지 질문하자 학생들은 만장일치로 부인했다. “챗GPT로 작성한 에세이를 교수진이 받아들일 만큼 태만하다고 생각했나”고 말하자 학생들은 당황한 모습을 보였다.

교수에 따르면, 챗GPT와 같은 대규모 언어 모델은 우리가 간과하는 중요한 문제에 대한 귀중한 통찰력을 제공한다. 학생들이 언어와 의사소통을 깊이 탐구할 기회를 제공한다는 것. 인간과 컴퓨터가 언어를 어떻게 다르게 인식하는지, 컴퓨터가 인간의 언어를 모방하는 것이 어떠한 의미가 있는지, 인공지능의 실제 지능은 어느 정도인지, 지식 생산을 시뮬레이션하는 이러한 시스템의 본질은 무엇인지 질문을 제기할 수 있다.

버지니아대학 데이터과학의 라파엘 알바라도 교수는 “대규모 언어 모델은 인터넷을 위해 생성한 방대한 언어 데이터와 구글 등에서 책에서 스캔한 내용을 기반으로 의미있는 산문을 생성하는 방식으로 작동한다. 통계적으로 일관된 텍스트 문자열을 생성해 지식을 모방한다. 하지만 현실을 직접 반영하지 않는다. 단지 주어진 문맥에 어떤 문장의 조합이 적합한지 예측할 뿐이다”고 말했다.

알바라도 교수는 “우리가 지금 보고 있는 상황은 '사서가 없는 도서관'이다”라고 말했다. 순진한 독자를 대상으로 하는 도서관으로 문맥이 없고 저자가 없는 콘텐츠로 구성된다는 것. 형식은 뛰어날 수 있지만 내용 면에서는 취약함이 드러난다.

알바라도 교수는 “교수를 속이는 유혹은 예전에도 있었다”고 말한다. 가령 한때 검색 엔진은 학생들에게 독창적인 에세이로 위장할 수 있는 콘텐츠를 무한 제공했다.

결국 부정행위 기술을 다루는 것은 학생의 지식을 평가하는 일의 일부이자 필수 요소라는 주장이 나온다. 학업 부정행위가 발생할 때마다 교육자는 더 나은 학습을 돕는 과제를 고안해야 한다는 것. 학습에는 글쓰기뿐만 아니라 말하기, 논쟁하기, 가르치기, 코딩, 게임 디자인, 데이터베이스 제작, 예술 등이 포함된니다.

바이디아나탄 교수는 전통적인 지식 창출 방식을 다시 도입할 계획이라고 밝혔다. 가령 수업 중 글쓰기를 요구할 계획인데, 이는 학생들이 인터넷검색이나 챗GPT 도움을 받지 못한다. 실시간 글쓰기는 명확성과 간결함이 더욱 필요하다.

또한 그룹 발표 시간을 더 늘릴 계획이다. 다른 학생들이 발표자에게 질문하도록 해 주제에 대해 깊이 이해할 수 있도록 돕는다.

또한 그는 대규모 언어 모델을 교실 활동에 통합할 계획다. 예를 들어, AI에게 "교실에서 시바 바이디아나탄 교수 스타일로 AI에 대한 에세이를 작성하라"고 지시한 다음 수업시간에 결과물을 비판적으로 평가할 수 있다.

교수는 AI에 대한 사람들의 두려움과 매혹은 이해 부족에서 비롯된다고 주장했다. AI가 삶의 중요한 측면을 장악해 대규모 실직을 초래할 것이라는 우려가 있지만, 이는 AI가 의도한 대로 완벽하게 작동할 것이라는 전제하에 나왔다는 것.

그렇다고 잘못 설계되고 구현된 시스템의 실제 위험을 무시해야 한다는 뜻은 아니다. 예측 모델링은 오랫동안 미국 형사 사법에서 치안 및 선고 절차를 왜곡해 흑인에 대한 불균형적인 감시와 처벌을 초래했기 때문. 마찬가지로 보험과 의료 분야에서도 투명성, 책임, 감독, 규제 없이 AI가 작동하는 경우가 많다.

교수는 “우리는 두 가지 중대한 실수를 동시에 저지르고 있다. AI가 신비스럽고 복잡해 보인다는 이유로 숨기고 회피하며 현재 AI의 해로운 사용 사례를 보이지 않게 만들고 논의하지 않는다. 다른 한편으로는 영화 매트릭스의 한 장면처럼 보이는 미래 최악의 시나리오를 더 걱정하고 있다”고 말했다.