수업에 3D 스마트 글래스 활용하자 스토리텔링 능력까지 향상

호주 가톨릭대학 학습과학 및 교사교육연구소의 캐시 밀스 교수는 "웨어러블 기술은 단순한 트렌드가 아니라 미래로 가는 길이다"라고 말한다. 교수는 최근 학생들의 다중모드 문해력(multimodal literacy)을 향상시키기 위해 3D 스마트 글래스를 교육에 통합하는 연구를 진행했다.

교육 분야에서 증강현실(AR), 가상현실(VR), 혼합현실(MR)에 대한 대부분 선행 연구는 학생들의 학습자료 소비에 초점을 맞췄지만, 밀스 교수의 연구는 학생들이 단순한 자료를 소비하는 것이 아니라 다양한 모드에서 창작자가 되어야 한다는 개념을 전재로 했다.

《학습, 미디어 및 기술》 저널에 게재된 이 연구에서는 6학년 학생 27명이 자신의 글과 그림을 홀로그램을 사용해 이미지, 동영상, 사운드로 구성된 역동적인 디지털 버전으로 변환하는 작업을 수행했다.

10~11세 학생들은 먼저 다양한 생물군을 배경으로 한 전통적인 2D 글과 그림으로 이야기를 제작했다. 그 후 마이크로소프트 홀로렌즈2 스마트 글래스를 사용해 이야기에 생동감을 불어넣었다. 학생들은 실제 교실 환경에 여러 홀로그램 이미지를 겹쳐서 이야기 배경, 등장인물, 사건을 설명했다.

또한 음성 인식 비디오 녹화를 통해 학생들은 3D 이미지와 함께 자신의 이야기를 전달했다. 연구진은 3D 스마트 글래스로 학생들의 모습을 컴퓨터로 실시간 스트리밍해 진행 상황을 살펴봤다.

연구를 주도한 밀스 교수는 스마트 글래스가 다른 디지털 기술과는 확연히 다른 독특한 기능을 제공해 청중과의 소통을 향상시켰다고 분석했다. 그는 “학생들은 매우 몰입했고 심지어 매료되었다. 아이디어를 전달할 때 가장 큰 차이점 중 하나는 홀로그램 일러스트를 여러 각도에서 볼 수 있다는 점이었다. 2D 이미지나 다른 화면 기반 텍스트와 달리 학생들은 물체 주위를 탐색할 수 있었다”고 말했다.

그는 “대부분 학생은 이전에는 상상도 하지 못했던 형태의 이야기를 만들어냈다”고 평가했다.

신체 움직임에 반응하는 홀로그램의 특징을 접한 초기에는 다소 어려움이 있지만, 학생들은 스마트 글래스의 터치리스 인터페이스가 게임 컨트롤러보다 더 쉽다고 느꼈다. 물론 터치리스 인터페이스는 정확성과 효율성을 위해 초기 교육과 연습이 필요하고, 교차하는 가상 물체를 처리하는 등의 사소한 불편함이 있다는 한계가 남았다.

밀스 교수는 “"음성 명령은 아이들의 목소리로 지시할 때보다 교사와 연구원이 말할 때 더 원활하게 작동했다. 홀로그램도 인상적이었지만, 기술이 발전함에 따라 더욱 사실적인 그래픽이 구현될 것으로 예상한다”고 말했다.

그는 이 기술이 더욱 발전함에 따라 3D 스마트 글래스와 같은 혼합현실 기술이 트랜스미디어 스토리텔링을 넘어 특히 학생 참여 및 디지털 문해력과 관련된 흥미로운 미래 응용 분야로 활용될 것으로 내다봤다.

“3D 이미지와 공간 기술은 수많은 학습 기회를 제공할 것이다. 원활한 상호작용이 필요한 학습은 스마트 글래스로 효율을 높일 수 있다”며 “3D 모델을 통해 사물이 어떻게 작동하는지 보여줌으로써 학습 효과를 높일 수 있으며, 특히 STEM 및 문제 해결과 관련해 유용하다”고 말했다.

이번 연구는 학생들의 학습과 참여를 높이기 위해 3D 스마트 글래스와 혼합현실 기술을 도입하는 데 관심이 있는 학교 리더와 교육자에게 중요한 시사점을 제공한다.

교수는 “대부분 교사가 기회만 있으면 3D 스마트 글래스를 교실에서 사용할 의향이 있다고 답했다”라며 스마트 글래스의 실질적인 이점에 주목했다. 스마트 글래스는 무선이기 때문에 헤드셋을 컴퓨터에 연결할 필요가 없고 일부 VR 헤드셋과 달리 교사가 쉽게 설정할 수 있고 교내외에서 학생들이 간편하게 사용할 수 있다는 것이다.

하지만 밀스 교수는 교사들이 커리큘럼에 3D 스마트 글래스를 적용하려면, 사용법과 교수법을 알려주는 워크숍 및 기술 지원이 필요하다고 지적했다.

“향후 몇 년 이내에 더 많은 교육용 앱이 출시될 것이다. 아이들은 미래 직업 세계를 위해 스마트 글래스 및 기타 XR 기술을 사용해 개발하는 능력을 키워나가야 할 것이다”라고 말했다.

또한 그는 전통적인 문해력을 대체하지 않는다고 강조했다. 오히려 상호보완해 학생들에게 현실 세계와 가상현실 세계 장점을 모두 제공할 것으로 봤다.