[기획-미래교육] 생성형AI, 사이버 폭력에 활용된다?

챗GPT와 같은 생성형 AI가 사이버 폭력에 잠재적으로 활용될 여지가 있다는 주장이 제기돼 논란이 일고 있다. 챗GPT의 등장으로 교육계는 에세이나 논문 작성에 AI가 사용될 것이라는 우려가 나왔다. 하지만 이 주장에 따르면 생성형 AI가 교육에 미치는 영향은 더욱 클 것으로 보인다.

메트로폴리탄 내슈빌공립학교의 관리자 케시아 레이 박사는 “오랫동안 사이버 괴롭힘으로 인한 문제를 인식해 왔지만, 생성형 AI 기술의 등장으로 새로운 지평이 열렸다. AI 알고리즘은 이미지를 복제하고, 텍스트를 생성하고, 다양한 작업을 수행할 수 있으며, 오용될 경우 온라인 괴롭힘에 교묘한 계층을 추가할 수 있다”고 말했다.

최근 한 학생이 생성 AI를 사용해 교사의 이미지를 복제하고 마치 교사가 게시한 것처럼 보이는 부적절한 콘텐츠를 게시한 사례가 발생했다. 교사는 부정행위를 인지하고 행정 조사를 거쳐 해당 학생에게 징계를 내렸다. 결과는 긍정적이었지만, 이 사건은 생성형 AI가 이미 문제가 되고 있는 사이버 괴롭힘의 영역에 복잡한 장애물을 추가할 수 있음을 보여주었다.

생성형 AI가 주류로 사용되기 전에는 사이버 폭력의 가해자가 실제 사람인지에 대한 의문이 거의 제기되지 않았다. 오늘날에는 AI 기술이 사람의 손에 의해 제어되고 있지만, 익명성이 강화되면서 범인을 식별하기가 훨씬 더 어려워졌다.

호주와 아일랜드와 같은 국가에서는 괴롭힘에 대응하기 위해 온라인 활동을 더욱 엄격하게 모니터링하도록 의무화하는 법안을 통과시켰다. 그러나 이러한 행동의 미묘한 차이, 특히 미성년자와 관련된 경우 모니터링은 매우 어려운 작업이다. 10대들이 인스타그램에 이미지를 게시하면서 자신의 소셜 서클에 속하지 않은 사람을 고의적으로 태그하는 것은 괴롭힘의 한 유형으로 널리 사용되는 수법 중 하나다.

인스타그램은 이러한 유형의 남용을 방지하기 위해 고급 모니터링 도구와 인력 관리자를 도입하는 등 적극적으로 대응해 왔다. 하지만 인스타그램의 공공 정책 책임자가 지적했듯이, 10대들은 놀라울 정도로 수완이 뛰어나며, 생성형 AI를 통해 창의적으로 괴롭힐 수 있는 방법이 훨씬 더 많아졌다.

생성형 AI는 유해한 콘텐츠가 생성되는 속도를 가속화했다. 온라인 괴롭힘에 대한 사례를 수집하는 단체인 사이버불링닷오알지는 생성형 AI로 인해 혐오 메시지의 생성 속도가 빨라졌다고 지적했다. 이전에는 개인이 이러한 메시지를 작성하는 데 시간과 노력을 투자해야 했지만, AI는 그 과정을 간소화하여 더 많은 사람들이 유해한 활동에 참여할 수 있는 기회를 넓혔다는 것이다.

반대로, 생성형 AI는 부자연스러운 온라인 행동 패턴을 식별해 검토를 위해 플래그를 지정하는 데에도 사용될 수 있다. 향후에는 AI 소프트웨어가 생성한 이미지에 특정 메타데이터를 태그하거나 안전한 데이터 원장에 저장하는 등의 기술이 발전할 수 있다.

AI로 강화된 사이버 괴롭힘에 대한 사전 예방적 조치

이러한 증가 추세에 대응하기 위해 사용할 수 있는 몇 가지 전략이 있다.

사이버 폭력에 대한 알고리즘 탐지 기능을 개선하고 엄격한 사용자 인증 방법을 구현하여 가짜 계정을 최소화할 수 있다. 부자연스러운 행동 패턴을 감지해 사람이 검토할 수 있도록 플래그를 지정할 수 있는 고급 AI 모니터링을 통합한다.

기술의 발전에도 불구하고 사람의 적극적인 감독을 대체할 수 있는 것은 없다. 교육자는 학생의 온라인 활동을 모니터링하는 데 주의를 기울이고 학생들 간의 대면 관계에 주의를 기울여야 할 필요가 있다.