증강현실 기반 언어치료를 위한 플랫폼의 개발
Development of a Platform for Augmented Reality-Based Speech Language Therapy
Article information
Abstract
배경 및 목적
증강현실은 가상현실과 구별되는 개념으로 가상세계를 현실세계에 중첩시켜 상호작용하게 하는 기술이다. 최근 언어치료 분야에서도 증강현실은 전통적인 치료 패러다임을 보완하기 위한 새로운 매체로서 관심 있게 다루어지고 있다. 본 연구에서는 태블릿 기반의 마크리스(markless) 증강현실 언어치료 프로그램을 개발하고 증강현실과 그림카드를 이용한 중재의 효과를 비교하고자 하였다.
방법
증강현실 애플리케이션은 자연특징 추적 알고리즘을 이용하여 객체를 인식하게 프로그래밍하였으며, 단순언어발달지연 아동 3명에게 교대중재설계를 사용하여 24개의 동작동사에 대하여 증강현실과 그림카드 기반 중재를 시행하였다. 두 중재 간의 차이는 어휘정확도, 중재효과 크기, 몰입도, 학습 흥미도로 비교하였다.
결과
태블릿 기반 증강현실 중재와 그림카드 중재 모두에서 동작동사 어휘력의 향상을 나타내었으며 중재와 유지 단계에서 증강현실 기반 중재가 더 높은 어휘정확도를 나타내었다. 학습몰입은 증강현실 기반 중재가 더 높게 나타내었으며, 일반적 흥미는 두 중재 모두 유사한 결과를 보였으나 상황흥미에서 증강현실 기반 중재가 더 높게 나타났다.
논의 및 결론
증강현실과 그림카드 중재 모두 효과적이었으나 증강현실 기반 중재는 기존의 그림카드로 제한이 있었던 어휘들의 학습에 효과적이었으며, 혼합현실의 제공은 아동의 학습동기와 참여를 향상시키는 데 도움이 되었다. 또한, 마크리스 증강현실 플랫폼은 콘텐츠의 확장이 용이하여 임상현장에서 증강현실 기반 언어치료 프로그램의 적용에 유용하게 활용될 수 있을 것으로 사료된다.
Trans Abstract
Objectives
In the field of speech language therapy, augmented reality (AR) is being treated with interest as a new medium to complement the traditional therapy paradigm. The purpose of this study was to develop a program for markless AR-based speech language therapy using tablets and to compare the effects of AR and picture card intervention.
Methods
AR applications were programmed to recognize objects using natural feature tracking algorithms, and 3 children with specific language impairment participated in AR and picture card-based intervention with 24 action verbs in an alternating treatment design. The differences between the two interventions were compared in vocabulary accuracy, improvement rate difference, flow, and learning interest.
Results
Improvement in action verb vocabulary was shown in both the AR-based intervention and the picture card intervention, with the AR-based intervention resulting in higher vocabulary accuracy in the intervention and maintenance phase. Additionally, the AR-based intervention showed higher learning flow. General interest was similar in both intervention methods, but the AR-based intervention was higher in situation interest.
Conclusion
AR-based intervention was effective for learning vocabulary that would normally be taught with conventional picture cards; mixed reality AR helped improve children’s learning motivation and participation levels. In addition, the markless AR platform has advantages for clinical speech language pathology practice because the content can be easily expanded.
최근 기술기반 학습(technology-enhanced learning) 연구들은 증강현실 유비쿼터스 러닝, 모바일 러닝, 가상현실 등을 이용하여 사용자 경험과 만족도를 향상시키기 위한 새로운 기술에 초점을 맞추고 있다. 증강현실 또한, 모바일 장치 및 하드웨어와 소프트웨어 기술의 혁신과 함께 기술의 접근성이 높아져 사용자 중심의 학습 프로세스 개발에 활용되고 있다(Bai, Blackwell, & Coulouris, 2015). 증강현실은 가상현실에서 파생된 분야로, 현실세계에 가상세계를 겹쳐 혼합현실에서 사용자와 상호작용하게 하는 기술이다. 다시 말해, 실제 환경에 가상의 오브젝트를 투영함으로써 원래 환경에 존재하는 사물처럼 보이게 하는 컴퓨터그래픽기법이다.
스마트폰과 태블릿 등의 보급이 일반화되면서 현실세계에 이미 지나 문자 등의 정보를 제공하는 개념을 넘어 증강현실의 영역은 급속도로 발전되고 있다. 기술을 실현하는 인간과 컴퓨터 상호작용(human computer interaction, HCI)의 특징에 따라 다양한 형태로 적용이 가능하다(Bacca, Baldiris, Fabregat, & Graf, 2014; Choi, Kim, Yeon, Kim, & Hong, 2016; da Cunha, Neiva, & da Silva, 2018; Kang, Park, Song, Kim, & Shin, 2015; Lee, Kang, & Kim, 2013). 일례로 증강현실에 대한 인식을 대중화하는 데 큰 역할을 한 ‘포켓몬 Go’는 증강현실 기술을 이용하여 현실(실제 환경이나 배경)과 가상(캐릭터)을 결합한 게임으로, 사람의 눈으로 인식할 수 있는 현실세계에 포켓몬이라는 가상의 객체를 덧입혀 혼합현실을 구현하였다. 평창올림픽 개막식에서도 증강현실을 이용하여 ‘천상열차분야 지도’를 재연하였고, ‘ AR ways’ 애플리케이션을 통하여 좌석을 찾아갈 수 있도록 하였다. 이처럼, 증강현실은 게임뿐만 아니라 수술, 공사현장, 공연산업 등에서 적극적으로 활용되고 있다.
교육 분야에서는 증강현실 기반의 학습환경을 구성하기 위한 교육콘텐츠의 개발이 시도되어 왔고 학습성취와 효능성에서 효과적이라고 보고되고 있다(Kye & Kim, 2008). 특수교육과 언어치료 분야에서도 기존의 전통적인 치료교구를 보완할 새로운 매체에 대한 관심이 높아지면서 애니메이션을 이용한 치료, 기능성 게임, 증강현실을 이용한 치료프로그램들이 소개되고 있다(Bai et al., 2015; Chen, Lee, & Lin, 2016; da Silva, Fernandes, & Grohmann, 2014; Herrera et al., 2008; Schlosser et al., 2012).
2000년대 이후로 증강현실을 이용한 치료들이 관심을 받기 시작하였으며 자폐아와 같이 인지능력이 부족하고 현실세계에 적응하기 힘들어하는 아동을 대상으로 연구가 활발히 진행되었으며 현실과 가상 콘텐츠의 결합은 자폐아의 주변환경에 대한 이해를 향상시키는 데 도움이 되었다(Chen et al., 2016; da Silva et al., 2014). 증강현실의 학습효과는 대부분의 연구에서 긍정적인 결과를 나타내었으나 Chung, Vanderbilt와 Soares (2015)는 아동의 흥미를 유발할 수는 있지만 학습효과와 사회화 효과에서는 부정적인 결과를 나타내었으며 Lee와 Ryu (2014)는 증강현실 자체보다 전통적 치료와 결합되었을 때 더 나은 효과를 얻을 수 있다고 보고하였다.
국내에서는 Choi, Kim과 Kim (2013)의 연구를 시작으로 증강현실을 이용한 치료효과에 대한 검증, 증강현실 시스템 디자인, 증강현실 적용에 따른 대상자와 교육자의 반응 등 다양한 연구들이 진행되었다(Kim & Kwon, 2017). 언어치료 분야에서도 Bae, Park, Kim과 Kwon (2014)이 단순언어장애 아동을 대상으로 증강현실을 치료프로그램을 이용하여 치료효과를 검증하였고 텍스트 기반 프로그램과 비교하여 치료효과는 유사하나 몰입과 학습흥미에서 더 나은 결과를 나타내었다고 보고하고 있다. 또한, Lee (2018)는 증강현실 기반 애플리케이션을 활용하여 언어발달지체 아동의 동사표현을 중재하였고 동사표현의 증가와 그림카드로의 일반화 를 확인하였다. Ahn, Bae, Park과 Kwon (2018)은 지적장애 아동을 대상으로 동적인 변화를 나타내는 어휘학습에 효과가 있음을 확인하였다.
언어치료현장에서는 서지 기반의 치료교구들이 주류를 이루며 최근 들어 스마트폰과 태블릿을 활용한 치료들이 적용되고 있지만 정보통신기술을 활용한 치료접근들은 플랫폼과 콘텐츠의 부재, 사용성의 제한 등으로 적절하게 활용되고 있지 못하다. 증강현실은 하나의 기술임으로 임상현장에서 증강현실을 이용한 중재 접근성을 높이기 위해서는 HCI 관점에서 사용자 경험에 기반한 서비스 플랫폼의 개발이 선행되어야 하며 이를 지원하기 위한 다양한 콘텐츠의 개발이 필요하다(da Cunha et al., 2018). 그러나 아직까지 국내외에서 증강현실을 언어치료에 접목한 연구들이 많지 않다.
따라서, 본 연구에서는 증강현실을 언어치료에 적용하기 위한 태블릿 컴퓨터 기반 애플리케이션과 콘텐츠를 개발하고 이를 시도적으로 언어치료에 적용하여 그림카드 기반 중재와 비교해 보고자 한다.
연구방법
연구대상
이 연구에서 개발된 증강현실 언어치료프로그램의 적용 가능성을 살펴보기 위하여 경남지역 언어치료실에서 다니는 단순언어발달지연 아동 3명을 대상으로 연구를 진행하였다. 취학전 아동의 수용언어 및 표현언어 발달척도(Preschool Receptive-Expressive Language Scale, PRES; Kim, Sung, & Lee, 2003)에서 언어발달이 1년 이상 지연된 아동, 한국 웩슬러유아지능검사(Korean-Wechsler Pre-school and Primary Scale of Intelligence, K-WPPSI; Park, Kwak, & Park, 1996)에서 지능지수 85 이상인 아동, 신체적 장애가 없으며 태블릿 컴퓨터 조작에 제한이 없는 아동을 대상으로 하였다.
대상아동들의 일반적인 특성은 Table 1과 같다. 행동특성을 살펴보면, 대상자 1은 주의집중 시간이 짧았으며 치료사와의 일대일 대면에서 산만하였다. 자동차와 로봇 등 자신이 관심 있는 사물에 대하여 적극적인 상호작용을 시도하였으나 발화보다는 행동위주의 활동이 주를 이루었다. 대상자 2는 내성적인 성격으로 어머니의 눈치를 많이 보며 자발적으로 사물을 요구하는 빈도가 낮았고 문장을 끝까지 완성하지 못할 때가 많았다. 그러나 한 가지 사물에 대한 주의집중이 높았으며 수업태도가 우수하였다. 대상자 3은 치료사가 제시한 상황에 대하여 주제를 유지하며 주고받기 대화가 원활하였으며 발화량도 많았다. 그러나 정확한 어휘량이 부족하여 에둘러 말하기나 삽입어를 많이 사용하였다.
Individual characteristics of subjects
연구도구
태블릿 기반 증강현실 언어치료프로그램을 구현하기 위해서는 콘텐츠, 서비스 플랫폼, 네트워크, 디바이스가 필요하다. 이를 위하여, 그림카드와 3D 모델을 제작하였고 마커 없이 이미지를 인식시키기 위하여 Unity 3D 프로그램을 사용하여 이미지 탐지 모듈, 데이터베이스 모듈, 랜더링 모듈, 트랙킹 모듈을 포함한 애플리케이션을 제작하였다(Figure 1). 증강현실 프로그램은 안드로이드 기반 G-pad III 10.1 (LG, Korea)에서 증강현실을 출력하였다.
Schematic view of augmented reality (AR) program for speech language therapy.
그림 카드
증강현실은 그림카드를 통하여 3D 모델을 현실세계로 불러올 수 있기 때문에 사물의 조작이 가능하며 움직임이 포함된 모델을 제시해줄 수 있다. 이러한 특징을 적절히 활용하기 위해서는 평면의 그림카드에서 표현이 제한적인 역동적 움직임 또는 감정을 나타내는 동사의 학습에 유용할 수 있다(Chen et al., 2016).
본 연구에서는 Hwang, Kwon, Kim과 Shin (2017)의 연구에서 역동적 움직임을 표현하는 동사로서 동작 타당도가 검증된 동작동사 68개를 이용하였고, 카메라를 통하여 3D 오브젝트를 인출시키기 위하여 개별 특징점 추출이 용이한 일러스트를 카드형태로 제작하였다(Figure 2). 카드의 전면은 일러스트로, 후면은 문자로 구 성하여 증강현실과 함께 다양한 자극 수준에서 활용할 수 있도록 하였다.
Example of action verb cards for vocabulary learning using augmented reality.
증강현실 애플리케이션
그림카드와 오브젝트를 일대일로 매칭시키기 위해서는 인식과 구현을 위한 증강현실 엔진 모듈이 필요하다. 애플리케이션은 Unity 3D 개발환경에서 C#으로 Vuforia 라이브러리를 사용하여 개발하였고 애플리케이션은 안드로이드 플랫폼에 구동되도록 하였다(Figure 3).
Flow chart of system module configuration.
마커로 증강을 인식하던 방식은 카드에 마크를 삽입하는 추가적인 작업이 필요하기 때문에 장애특성에 따라 다양한 어휘목록의 확장이 필요한 언어치료에 있어 콘텐츠 확보에 제한점이 된다. 따라서 본 연구에서는 특정마크의 제작 없이 그림카드 자체를 인식하여 3D 오브젝트와 매칭하기 위하여 소벨연산(Sobel operator)과 라플라시안(Laplacian)을 이용하여 그림의 가장자리를 특징점으로 추출하였다(Formula (1)).
소벨 연산은 3×3 크기의 행렬을 사용하여 연산을 하였을 때 중심을 기준으로 각 방향의 앞뒤의 값을 비교하여서 변화량을 검출하는 알고리즘이다. Formula (2)와 같이, 마스크의 특성상 이미지의 x방향과 y방향으로 총 2번 수행되고 기울기의 크기(magnitude of gradient)에 해당하는 Formula (3)을 간략화 한
소벨 연산을 추가로 미분한 경우, 영상처리에서 Formula (4)와 같이 정의되며 이를 라플라시안이라고 부른다. 이 연산자는 디지털 2차 미분의 수식적 형태를 마스크로 가져온 것으로 Formula (3)에서 픽셀 사이의 거리에 해당하는 h를 1로 설정하면 마스크의 형태가 얻어지는 것을 확인할 수 있다.
코너점을 통하여 특정마크를 인식하면 그레이스케일로 변환하고 분포군들의 차이로 그림카드를 인식한다(Figure 4). 카메라 영상을 배경영상(background plan)으로 비디오 캡처자료로 연동되고 영상에서 Vuforia에서 제공하는 마커 검출 알고리즘을 통하여 이미지 마커를 검출한다. 이후, 이미지 마커의 중심좌표를 반환하고 3D 모델의 xyz좌표를 이미지 마커 중심좌표로 설정하여 콘텐츠를 구현하였다.
Image recognition of verb card using interesting point extract algorithm. (A) Original image and (B) grayscale image.
영상인식은 태블릿 컴퓨터의 내장카메라를 이용하거나 별도의 외장카메라를 연결하여 그림카드의 정보를 습득하도록 하였다. 증강현실을 이용한 언어치료프로그램은 그림카드에 따라 4개(방, 거실, 부엌, 욕실)의 상황에서 목표어휘의 동작이 구연되도록 하였다. 치료상황에서의 아동의 발화를 녹음할 수 있도록 하였으며 아동이나 치료사의 조작에 따라 3D 객체의 시점, 크기, 동작 등의 조절이 가능하다(Figure 5). Ahn 등 (2018)의 연구에서는 장면단위로 구성하여 장소를 선택하고 목표단어를 선택하여 증강이 구현되도록 하였으나 이러한 방법은 하나의 마커로 다양한 증강을 구현할 수 있다는 장점이 있지만 즉각적인 어휘변경이 어려워 몰입과 사용성을 저해하는 요소가 될 수 있다. 이를 보완하고자 그림카드 자체에 장소와 목표어휘를 포함한 증강을 매칭시켜 장면과 어휘의 변화를 용이하도록 하였다.
Mixed reality therapy program based on augmented reality. (A) Kitchen, (B) living room, (C) room, and (D) restroom.
실험 과정
실험은 경남 소재 언어치료실에서 실시되었고 예비검사, 중재, 일반화, 유지 단계로 진행하였고 중재 단계가 종료 후, 학습 몰입도 (learning flow)와 학습 흥미도(learning interest) 검사를 실시하였다. 동적인 움직임을 나타내는 증강현실용 동사그림카드와 태블릿 컴퓨터 기반 증강현실 애플리케이션을 개발하여 증강현실 언어치료 프로그램으로 사용하였고 그림카드 기반 언어치료는 ‘언어신장카드’, ‘재미있는 언어치료’, ‘그림 동작어 사전’의 그림카드를 사용하였다.
이를 3명의 대상자에게 적용하여, 중재 간의 차이를 교대중재설계(alternating treatment design)를 사용하여 살펴보았다. 교대중재설계는 한 대상자에게 여러 중재를 회기 간 또는 회기 내에서 빠르게 교대로 실시하여 그 중재들 간의 효과를 비교하는 연구방법으로 체계적으로 중재간 균형을 맞춤으로써 중다중재설계가 가지고 있는 내적타당도 문제와 중재 간 전이문제를 감소시킬 수 있다.
중재는 4년 이상의 경력을 가진 언어재활사에 의하여 일대일로 진행되었으며 오전과 오후에 두 중재가 교대로 적용되었다. 성숙에 의한 변인을 통제하기 위하여 아동의 보호자에게 오전과 오후 치료 사이에 목표어휘에 대한 학습 또는 언급을 최대한 배제하도록 지시하였고 오전 치료 이후 충분한 휴식을 취하고 오후 치료에 오게 하였다. 중재는 동일한 치료환경에서 30분씩 주 6회로 기초선, 중재, 유지 단계를 포함하여 총 15회기 동안 실시되었다. 순서의 변인을 통제하기 위하여 순서의 변인을 통제하기 위하여, Table 2의 어휘목록의 제시와 회기 내에서 중재방법의 적용 순서를 다르게 하여 실험을 실시하였다. 대상자 1에서 증강현실(어휘목록 A), 그림카드(어휘목록 B), 증강현실(어휘목록 C), 대상자 2에서 그림카드(어휘목록 B), 증강현실(어휘목록 C), 그림카드(어휘목록 A), 대상자 3에서 증강현실(어휘목록 C), 그림카드(어휘목록 B), 증강현실(어휘목록 A) 순으로 번갈아 가며 시작하였다. 중재과정은 비디오로 녹화되었다.
The list of action verbs
예비검사
예비검사를 통하여 실험에 사용할 어휘 24개를 선정하였다(Table 2). 선정기준은 다음을 만족하는 동사들로 하였다. (1) 취학전 아동의 수용언어 및 표현언어 발달척도(Kim et al., 2003)와 한국판 맥아더-베이츠 의사소통발달평가 기록지(Pae & Kwak, 2011)에서 세 대상자 모두가 표현이 되지 않는 동사, (2) Hwang 등(2017)이 동작 타당도를 검증한 동사들을 이용하여 제작한 증강현실용 콘텐츠에 있는 동사, (3) ‘언어신장카드’, ‘재미있는 언어치료’, ‘그림 동작어 사전’에 그림카드가 있는 동사.
중재 절차
기초선 단계
기초선 단계에서는 예비검사에서 선정된 24개 어휘의 증강현실과 그림카드를 한 회기 내에서 대상자에게 각각 10분씩 제시되었고 대상자 1과 대상자 3은 그림카드, 대상자 2는 증강현실로 시작하여 회기마다 반대의 순서로 제시되었다. 아동에게 목표어휘의 동작에 대해 대답하도록 지시하였고 정오반응에 대한 피드백과 강화를 제공하지 않았다.
중재 단계
중재를 실시하기 전, 아동이 표현 가능한 증강현실 카드를 제시하여 아동에게 태블릿 컴퓨터 또는 카드를 조작하여 증강현실을 구연하는 방법을 연습시켰다. 증강현실 중재 또는 그림카드 중재는 도입(5분), 중재(20분), 평가(5분)으로 한 회기당 30분씩 실시되었다. 도입에서는 아동과 일상생활 대화를 하면 긴장을 풀고 금일 학습할 내용과 방법에 대하여 설명하며 치료참여를 유도하였다. 중재에서는 증강현실 또는 그림카드를 사용하여 동사를 학습시켰다. 중재과정은 아동이 태블릿 컴퓨터 또는 그림카드를 이용하여 목표어휘를 자발화할 수 있도록 강화된 환경중심 언어중재(enhanced milieu teaching)에 근거한 놀이방식으로 시행되었다(Appendix 1). 일상생활에 근거한 상호작용에 초점을 맞추어 맥락적 상황제시, 요구도 상승을 위한 도구조작, 불충분한 자료 제공, 선택하기, 요구-모델하기, 시간 지연, 자극단서 수준별 제시 등의 전략을 사용하여 정반응을 유도하였다(Kim, 2002; Snell & Brown, 2008). 다양한 촉진에도 아동이 정반응하지 않았을 시, 모방을 통한 반복학습을 실시하였다. 두 중재 모두에서 80% 이상 정반응을 보이거나 같은 어휘목록을 4회기 동안 학습한 경우에 다음 어휘목록으로 넘어가도록 하였고 모든 세트의 중재에서 준거에 부합하였을 때 중재를 종결하였다. 평가는 회기 동안 학습한 내용을 확인하기 위하여 증강현실 또는 그림카드를 보여주며 정반응 유무를 확인하였고 정반응 시 사회적 강화를, 오반응 시 정답을 피드백 하여 주었다.
유지 단계
유지 단계는 중재 단계 종류 후 7일 후에 실시되었고 기초선과 동일한 조건에서 총 3회기 동안 실시하였다.
자료 분석
평가 신뢰도
어휘정확도 측정의 신뢰도를 살펴보기 위하여, 중재에 참여한 언어재활사 1인 외에 10년 이상의 경력을 가진 1급 언어재활사에 의하여 녹화된 영상을 바탕으로 재평가가 실시되었다. 중재 회기의 25%를 무작위로 추출하여 시행되었고 평가자 간 신뢰도(일치한 항목/일치한 항목+일치하지 않은 항목×100)는 100%였다.
중재 충실도
중재 충실도(충실 1, 불충실 0)는 Schlosser 등(2012)의 연구를 참조하여 연구목적에 맞게 수정하여 이용하였다. 중재 회기의 녹화 영상 25%를 무작위로 추출하여 사용하였고 언어치료학과 교수 1인과 박사학위 1급 언어재활사 1인에 의하여 실시되었다. 중재충실도(동일하게 충실로 평가한 문항/전체 문항×100)는 대상자 1, 2, 3에서 각각 90%, 90%, 100%였다.
어휘정확도
프로그램의 중재 및 평가모드에서 정오반응(정반응 1, 오반응 0)을 기록함으로써 매 프로그램에서 채점되도록 하였고 백분율(정반응 어휘수/전체 어휘수×100)로 계산하였다.
중재효과 크기
중재효과의 크기를 보기 위하여, 기초선 단계와 중재 단계에서 개선율을 구하고, 두 개선율의 차(improvement rate difference, IRD)를 계산하였다(Formula (5)). IRD의 범위는 −1.0–1.0 사이로 .75 이상은 아주 높은 효과를 의미하며 음수 값은 중재의 부정적 효과를 의미한다(Parker, Vannest, & Brown, 2009).중재효과의 크기를 보기 위하여, 기초선 단계와 중재 단계에서 개선율을 (improvement rate difference, IRD)를 계산하였다(Formula 5). IRD 이로 0.75 이상은 아주 높은 효과를 의미하며 음수 값은 중재미한다(Parker, Vannest, & Brown, 2009).
몰입 검사
몰입은 현재의 활동을 최적의 경험으로 느끼게 되는 상태로 몰입의 정도에 따라 치료진전 정도가 달라질 수 있다(Shelton & Hedley, 2002). 이 연구에서는 Lee (2015)의 연구에서 사용한 몰입검사를 참조하여 연구목적에 맞게 수정하여 사용하였고 중재 단계 이후 중재 회기의 25%를 무작위로 추출하여 5점 리커트 척도로 박사학위 1급 언어재활사 1인에 의하여 실시되었다.
아동용 몰입척도는 치료사용 평정척도이며, 아동이 놀이를 위한 명확한 목표설정과 자기조절, 활동의 인지, 문제해결과제에 대한 도전과 해결과 관련된 문제해결능력 29개 문항, 치료사의 말과 활동에 집중하여 불필요한 정보와 자극에 주의를 기울이지 않는 것과 관련한 치료에 대한 집중 5문항, 치료에 열중하여 자신의 행동 또는 모습을 의식하지 않는 것과 관련한 자의식의 상실 7문항, 치료에 집중하면서 시간의 흐름을 빠르게 또는 느리게 느끼는 것과 관련한 시간 전이 3문항을 포함한 총 44개 문항으로 구성되어 있다.
언어치료학과 교수 1인과 박사학위 1급 언어재활사 1인에 의하여 문항타당도와 평가자 간 신뢰도가 평가되었고 평가자 간 신뢰도는 급내 상관계수(intra-class correlation, ICC) .864로 매우 높은 신뢰도를 나타내었고 문항타당도는 4.1점으로 대체적으로 높은 타당도를 보였다(ICC=.891).
학습 흥미도검사
몰입검사와 함께 치료 흥미도검사가 실시되었다. 이 연구에서는 Bae 등(2014)이 증강현실 연구에 사용한 학습 흥미도검사를 사용하였고 중재 단계 이후 박사학위 1급 언어재활사 1인에 의하여 실시되었다. 보다 정확한 아동의 피드백을 얻기 위하여 검사자는 해당문항에 대하여 아동이 알아들을 수 있게 반복하여 설명하였고 채점지로 Fun Toolkit를 사용하였다(Figure 6). 학습 흥미도검사는 일반적 흥미 20문항과 처치 받은 치료 자체에 대한 흥미를 의미하는 상황적 흥미 5문항을 포함하여 총 25개 문항으로 구성되어 있다.
Survey methods to gather opinions of child (Read & MacFarlane, 2006).
검사의 문항타당도는 언어치료학과 교수 1인과 박사학위 1급 언어재활사 1인이 5점 리커트 척도로 검증하였고 4.4점으로 대체적으로 높은 타당도를 보였다(ICC=.853).
연구결과
태블릿 컴퓨터 기반의 증강현실 애플리케이션과 콘텐츠를 개발 하여, 교대반복중재로 동사학습을 위한 증강현실 기반 중재와 그림카드 기반 중재를 실시하였으며 두 중재 간의 어휘정확도, 몰입도, 학습 흥미도를 비교 분석하였다.
증강현실과 그림카드 기반 중재 간의 어휘정확도
교대중재설계로 증강현실과 그림카드 기반 중재를 단순언어장애 아동의 동사학습에 적용한 결과는 다음과 같다(Table 3, Figure 7).
Results of response scores between AR and picturecard-based intervention
Change of verb accuracy by intervention using alternating treatment design.
AR=augmented reality.
대상자 1의 어휘정확도는 기초선 단계에서 증강현실과 그림카드 중재 각각 0%, 0%였고, 중재 단계에서 83% (세트 A: 75%, 세트 B: 87.5%, 세트 C: 87.5%), 70.8% (세트 A: 62.5%, 세트 B: 75%, 세트 C: 75%), 유지 단계에서 77.8%, 62.5%로 나타났다. 중재 단계에서 증강현실은 9회기, 그림카드 중재는 9회기가 소요되었으며 증강현실 기반 중재의 세트 B와 C를 제외한 세트에서 목표준거 80%에 도달하지 못하였다. 두 중재 모두 중재효과 크기 1로 높은 효과를 나타내었으며 어휘정확도는 기초선 단계를 기준으로 증강현실 기반 중재가 그림카드 기반 중재에 비하여 15.3% 더 높은 향상을 보였다.
대상자 2의 어휘정확도는 기초선 단계에서 증강현실과 그림카드 중재 각각 0%, 0%였고, 중재 단계에서 83.3% (세트 A: 100%, 세트 B: 100%, 세트 C: 87.5%), 83.3% (세트 A: 87.5%, 세트 B: 87.5%, 세트 C: 75%), 유지 단계에서 84.7%, 68.1%로 나타났다. 중재 단계에서 증강현실은 7회기, 그림카드 중재는 9회기가 소요되었으며 그림카드 기반 중재의 세트 A를 제외한 모든 세트에서 목표준거 80%에 도달하였다. 두 중재 모두 중재효과 크기 1로 높은 효과를 나타내었으며 어휘정확도는 기초선 단계를 기준으로 증강현실 기반 중재가 그림카드 기반 중재에 비하여 16.7% 더 높은 향상을 보였다.
대상자 3의 어휘정확도는 기초선 단계에서 증강현실과 그림카드 중재 각각 0%, 0%였고, 중재 단계에서 91.7% (세트 A: 100%, 세트 B: 87.5%, 세트 C: 87.5%), 83.3% (세트 A: 87.5%, 세트 B: 87.5%, 세트 C: 75%), 유지 단계에서 79.1%, 69.4%로 나타났다. 중재 단계에서 증강현실은 11회기, 그림카드 중재는 11회기가 소요되었으며 증강현실 기반 중재의 세트 B와 C를 제외한 세트에서 목표준거 80%에 도달하지 못하였다. 두 중재 모두 중재효과 크기 1로 높은 효과를 나타내었으며 어휘정확도는 기초선 단계를 기준으로 증강현실 기반 중재가 그림카드 기반 중재에 비하여 16.7% 더 높은 향상을 보였다.
증강현실 중재가 선행한 세트에서는 후행하는 그림카드 중재의 정확도가 간헐적으로 높게 나타났으나 그림카드 중재가 선행한 회기 내에서는 후행하는 증간현실 기반 중재의 어휘정확도가 더 높게 나타났다. 세 대상자 모두 그림카드 중재의 어휘목록 중 ‘굴리다’, ‘눕다’, ‘기어가다’에서 오반응을 보인 반면, 증강현실 기반에서는 대상자 2, 3이 정반응을 나타내었다.
증강현실과 그림카드 기반 중재 간의 몰입도 비교
증강현실 기반 중재와 그림카드 기반 중재의 몰입 척도를 살펴본 결과(Figure 8), 세 대상자의 전체 평균점수는 증강현실 기반 중재와 그림카드 기반 중재에서 각각 3.9, 3.2 하위항목 중 문제해결과정에서 각각 3.0, 3.2, 과제에 대한 집중은 3.8, 3.0, 자의식 상실은 4.3, 3.0, 시간전이는 4.3, 3.5로 나타났다.
Comparison of learning flow between augmented reality and picture card-based intervention.
대상자 1의 전체 평균몰입점수는 증강현실과 그림카드 기반 중재에서 각각 3.8, 3.1, 문제해결과정에서 3.0, 3.5, 과제에 대한 집중에서 4.0. 3.0, 자의식 상실에서 4.0, 3.0, 시간전이에서 4.0, 3.0으로 나타났다. 대상자 2의 전체 평균몰입점수는 증강현실과 그림카드 기반 중재에서 각각 4.3, 3.1, 문제해결과정에서 3.0, 3.0, 과제에 대한 집중에서 4.0. 3.0, 자의식 상실에서 5.0, 3.0, 시간전이에서 4.3, 3.5으로 나타났다. 대상자 3의 전체 평균몰입점수는 증강현실과 그림카드 기반 중재에서 각각 3.6, 3.3, 문제해결과정에서 3.0, 3.0, 과제에 대한 집중에서 3.5. 3.0, 자의식 상실에서 4.0, 3.0, 시간전이에서 4.0, 4.0으로 나타났다.
증강현실과 그림카드 기반 중재 간의 흥미도 비교
증강현실 기반 중재와 그림카드 기반 중재의 학습 흥미도를 살펴본 결과(Figure 9), 세 대상자의 학습 흥미도 전체 평균점수는 각각 4.0, 3.8로 나타났으며 하위항목에서 일반적 흥미의 점수는 각각, 3.9, 3.9, 상황 흥미는 각각 4.2, 3.6으로 나타났다.
Comparison of learning interesting between augmented reality and picture card based intervention.
대상자 1의 학습 흥미도 전체 점수는 증강현실과 그림카드 기반 중재에서 각각 3.7, 3.7이었으며 일반적 흥미는 각각 3.7, 3.8, 상황 흥미는 각각 3.8, 3.3이었다. 대상자 2의 학습 흥미도 전체 평균점수는 증강현실과 그림카드 기반 중재에서 각각 4.3, 4.0이었으며 일반적 흥미는 각각 4.3, 4.0, 상황 흥미는 각각 4.5, 3.8이었다. 대상자 3의 학습 흥미도 전체 평균점수는 증강현실과 그림카드 기반 중재에서 각각 3.8, 3.9이었으며 일반적 흥미는 각각 3.75, 3.85, 상황 흥미는 각각 4.3, 3.7이었다.
논의 및 결론
컴퓨터 기술의 발달과 함께 장애영역에서도 디자인 인터페이스, 개별화된 애플리케이션 개발, 사용성의 증진 등, HCI를 고려한 새로운 도전들이 시도되고 있다(Schultheis & Rizzo, 2001). 언어치료 또한, 자폐 스펙트럼과 지적장애 등을 중심으로 증강현실과 가상현실 등을 이용한 중재가 활발히 연구되고 있으며, 장애를 가진 대상자들에게 증거기반 중재로 활용될 수 있는지에 대하여 논의되고 있다. 그러나 현재까지 많은 연구들이 이러한 기술이 제공하는 구체적 이점보다 기술의 구현에 초점이 맞추어져 있다.
따라서 이 연구에서는 임상적 접근이 용이하고 이후 다양한 장 애영역으로 확장이 가능한 증강현실 콘텐츠 플랫폼을 개발하고 다른 도구를 이용한 중재와 비교하여 증강현실이 가질 수 있는 장점을 살펴보고자 하였다.
일반적으로 증강현실 애플리케이션에는 개체 인식을 위하여 마커 기반 추적이 많이 사용되고 있지만 본 연구에서는 특징점 추출을 이용한 모델 기반 추적 알고리즘을 적용하였다. 마커 기반 추적은 개체 선택을 쉽게 확장할 수 있고 개체의 본체에서 마커 배치를 차감(offsetting)함으로써 손 폐색의 영향에서 자유롭다는 장점이 있다(Bai et al., 2015). 그러나 마커 기반 추적을 위해서는 원하는 개체에 대한 마커의 제작이 추가적으로 필요하고 최근 컴퓨터 비전 추적 기술의 발달로 마커 기반과 비교하여 제한된 공간 내에서 특징점 추출 또한 충분한 인식률을 확보할 수 있다(Carmigniani et al., 2011). 특징점 추출을 이용 시 기존에 사용하고 있던 그림카드를 활용할 수 있어 마커 인식에 비하여 개체의 확장성이 우수하며 그림카드를 위한 중재와 증강현실을 위한 중재 모두에 단일 카드를 활용할 수 있다.
증강현실 기반 중재와 그림카드 기반 중재는 대상자 모두에서 중재효과가 높게 나타났으며 어휘정확도에서 증강현실 기반 중재가 그림카드 기반 중재보다 더 나은 진전을 보였다. Bai 등(2015)과 Herrera 등(2008)은 증강현실 기반 중재가 컴퓨터를 사용하지 않은 일반적(비컴퓨터) 기반 중재보다 더 나은 진전을 보였다고 하였으며 da Cunha 등(2018)의 문헌고찰에 의하면 증강현실과 가상현실을 이용한 중재의 연구들에서 60% 이상 긍정적인 효과가 있는 것으로 보고되고 있다. 그러나 Bae 등(2014)의 연구에서는 전통적 방법의 언어치료와 증강현실 모두 진전을 보였으나 두 방법 간의 진전효과는 유의한 차이가 없는 것으로 나타났다. 또한, Lee와 Ryu (2014)는 학습장애 아동의 치료에서 전통적 접근법과 증강현실을 함께 사용하였을 때 더 효과가 높다고 하였다. 이와 같이, 증거기반 중재의 관점에서 전통적 중재방법보다 증강현실이 더 효과적이라고 보기에는 아직까지 중재효과에 대하여 합의된 바가 없으며 매체의 영향보다 교수학습설계에 따른 차이가 학업성취에 더 많은 영향력을 미칠 수 있다(Bae et al., 2014; Noh, Jee, & Lim, 2010).
특정 동작동사의 치료에서는 증강현실 기반 중재가 그림카드 기반 중재보다 효과적이었다. 증강현실 중재는 회기 내에서 후행하는 경우, 선행한 그림카드 중재보다 항상 더 높은 어휘정확도를 나타낸 반면, 그림카드 중재가 후행하는 경우에는 선행한 증강현실 중재와 비교하여 간헐적으로 더 낮은 어휘정확도를 나타내었다. 또한, 그림카드 중재에서 대상자들 모두 ‘굴리다’, ‘눕다’, ‘기어가다’에서 오반응을 보인 반면, 증강현실 중재에서는 정반응을 보여 동사학습에 증강현실이 그림카드 중재보다 더 큰 긍정적인 영향을 미친 것으로 볼 수 있다. Kim, Kim과 Park (2005)과 Schlosser 등(2012)의 연구에서 애니메이션이나 동영상 등을 이용한 중재는 정적인 그림카드에 비해 동적인 움직임을 나타내는 동사의 학습에 효과적인 것으로 나타났다. 증강현실을 이용한 중재 또한, 증강을 통하여 시공간적인 제약을 벗어나 현실세계에 가상의 움직임을 제공하여 주고 실물 인터페이스와 상호작용하게 함으로 기존의 서지 기반 중재에서 표현하기 어려운 관형어나 부사어와 같은 수식어, 감정과 움직임 등의 동사, 추상적인 개념 등에 적합하며 학습효과를 높이는 중재로써 활용할 수 있다(Chen et al., 2016).
증강현실과 그림카드 기반 중재는 언어치료 자체에 대한 일반적 흥미에서 긍정적인 결과를 나타내었다. 중재 자체에 대한 흥미를 의미하는 상황적 흥미는 증강현실 기반 중재가 더 높게 나타나 중재가 아동의 동기유발과 능동적 치료참여 긍정적 영향을 미친 것으로 볼 수 있다(Noh et al., 2010). 상황적 흥미는 일반적 학습 흥미의 요인으로 작용하기 때문에 증강현실의 매체특성은 치료의 흥미를 유발하게 되고 언어치료 자체에 대한 흥미로 이어질 수 있다. 증강현실 기술은 실제 환경과 가상의 세계를 분리하지 않고 상호작용하기 때문에 사용자에게 감각적 집중을 이끌어내면서 부가적인 지식을 제공하며 주체적으로 그림카드 또는 디스플레이를 주체적으로 조작하며 주도적인 학습 참여를 유도할 수 있다(Bae et al., 2014; Kye & Kim, 2008).
증강현실 기반 중재는 그림카드 중재보다 더 높은 몰입을 보였다. 학습몰입은 학습행위에 몰두하여 자존감과 만족감이 향상되는 최적의 경험을 갖게 되는 상태를 의미한다(Shelton & Hedley, 2002). 증강현실 기반 실감형 학습기술을 이용한 스마트러닝 시스템은 3D 콘텐츠를 책이나 마커와 같은 인쇄물에 증강시켜 학생들로 하여금 몰입감을 느끼면서 학습할 수 있는 환경을 제공할 수 있다. 몰 입되어 있는 심리적 상태는 중재 과정 자체에 집중하게 되고 자발적 학습으로 이어질 수 있는 주요한 내재적 동기로 작용한다. 이와 같이, 증강현실은 지식의 제공과 함께 행위 자체에 대한 즐거움과 몰입을 제공할 수 있기 때문에 기존의 e-러닝 시스템을 넘어 u-러닝 시스템을 발전해가고 있다.
또한, 증강현실은 다양한 저작도구를 통하여 증강현실 기반의 학습환경에 사용할 콘텐츠를 쉽게 제작할 수 있다(CHO Alliance, 2016). 가상현실 기반으로 치료 콘텐츠를 개발할 경우, 모든 가상의 사물과 환경을 모델링하여야 하기 때문에 콘텐츠 창출에 많이 시간과 비용이 소모되고 사실성이 부족하여 효과가 떨어질 수 있다. 반면에 증강현실은 상호작용을 하거나 실제에서는 존재하지 않는 필요 객체만을 모델링하고 그 이외의 환경 객체는 실제 객체를 그대로 사용할 수 있어 모델링이 간편하며 현실세계를 바탕으로 가상의 오브젝트와 상호작용할 수 있어 보다 나은 현실감을 제공하여 준다.
증강현실은 하나의 기술로서 어떻게 사용되는가에 따라 그 효과가 달라질 수 있다. Clark (1983)는 미디어는 정보제공을 위한 전달 수단일 뿐 실제 학습 수행력에는 영향을 미치지 않는다고 하였고 이러한 맥락에서 공학적 수단보다 치료설계 방법이 학습효과에 더 큰 영향을 미칠 수 있다(Kirkley & Kirkley, 2005). Noh 등(2010)의 연구를 보면 증강현실을 이용한 교과학습이 학습동기와 사용성에는 영향을 미쳤지만 학업성취도에는 영향을 미치지 않았다고 보고하였다. 따라서, HCI와 컴퓨터 비전 기술이 향상된 증강현실 플랫폼의 개발도 중요하지만 이러한 도구를 지원할 수 있는 다양한 콘텐츠와 학습전략의 개발 또한 언어치료 중재방법으로서의 증강현실에 중요한 부분이다.
결론적으로, 증강현실은 컴퓨터와 영상 기술의 발달과 더불어 여러 분야에 급속하게 확대되고 있으며 증강현실 기술과 교육 콘텐츠의 결합은 새로운 형태의 치료도구로 주목 받고 있다. 동사와 감정 등 기존의 그림카드로는 제한이 있었던 어휘들의 학습에 효과적이며 혼합현실의 제공은 보다 현실적인 감각을 제시하며 아동의 학습의도를 향상시키는 데 도움이 된다. 그러나 증강현실 기술은 적합한 교수학습 계획 및 치료프로그램이 뒷받침될 때 최적의 중재효과를 얻을 수 있을 것이다.
후속연구에서는 다양한 플랫폼에서 호환 가능한 웹 버전의 애플리케이션 개발이 필요하며 사용자가 그림카드와 증강 개체를 graphic user interface (GUI) 기반에서 쉽게 매칭할 수 있게 하여 사용성을 개선한 프로그램 개발이 필요할 것으로 사료된다. 또한, 보다 많은 대상자 수와 장애군에서의 한 연구가 이어져야 할 것이다.
Acknowledgements
This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (No. NRF-2015S1A5B6037281).
Acknowledgements
본 연구는 2015년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2015S1A5B6037281).
