시선추적기를 활용한 학령전기 아동의 실시간 어휘 학습 양상 및 관련 요인 탐색
Exploring Real-Time Word Learning Skills and Its Related Factors in Preschool Children: An Eye-Tracking Study
Article information
Abstract
배경 및 목적
본 연구에서는 빠른 우연 학습의 실제 어휘 습득 양상에 따라 그룹을 나누어 각 그룹 아동의 실시간 단어 학습 처리 측면을 파악하는 것을 목적으로 하였다.
방법
학령전기 3-6세의 아동 33명(TD 21명, SLI 12명)이 본 연구에 참여하였다. K-mean cluster analysis를 통해 빠른 우연 학습의 비실시간 점수에 기반한 새로운 그룹을 만들고, 아동들의 실시간 어휘 학습 양상을 확인하고자 하였다. 시선추적기로 아동들의 어휘 학습 과정을 분석하기 위하여 시선추적기를 부착한 컴퓨터를 통해 내레이션이 녹음된 빠른 우연 학습 과제(애니메이션)을 아동들이 시청하도록 하였다.
결과
실시간 데이터의 세 번째 노출 조건에서 두 그룹 간 상당한 차이가 있었다. 또한, 어휘 습득력이 높았던 Cluster 1의 경우 빠른 우연 학습의 실시간 처리와 언어 작업기억이 유의한 상관이 있었으며, 어휘 습득력이 낮았던 Cluster 2의 경우 빠른 우연 학습의 비실시간 점수와 비언어 작업기억 간 유의한 상관관계가 있었다.
논의 및 결론
Cluster 2에게 새로운 어휘가 노출되었을 때, 시각적인 정보가 언어 정보와 집중적으로 결합된다면 어휘 습득의 효율성이 향상될 것이라고 추론할 수 있다.
Trans Abstract
Objectives
This study aimed to identify the real-time word learning processing aspects of children in each group by classifying groups according to their actual vocabulary acquisition performance (offline processing data) in QUIL (Quick incidental learning). We compared whether there was a significant difference between the QUIL offline and online processing data of the two groups, and finally we attempted to explore whether QUIL offline and online processing data had a significant correlation with children’s working memory.
Methods
Thirty-three children [21 with TD (Typically developing children); and 12 with SLI (Children with specific language impairment)] aged 3- to 6-year-old participated in this study. K-mean cluster analysis was conducted to create new groups based on QUIL offline scores, and to examine children’s online word learning processing. To analyze the children’s word learning process with an eye-tracker, the animations recorded with narration were shown to the children through a computer with an eye-tracker attached.
Results
There was a significant difference between the two clusters at the third exposure condition in online data (fixation duration). In addition, there was a significant correlation between QUIL online processing and linguistic WM (Working memory) in cluster 1, and between QUIL offline scores and nonlinguistic WM in cluster 2.
Conclusion
When new vocabulary is exposed for cluster 2, it can be inferred that the efficiency of vocabulary acquisition will be improved if visual information is intensively combined with language information.
빠른 연결(fast mapping)이란, 새로운 어휘와 그 어휘에 해당하는 새로운 참조물을 연결하는 전략으로, 아동은 이를 활용하여 낱말을 듣고 그 낱말과 참조물과의 관계를 빠르게 연결하여 새로운 낱말의 뜻을 추측하거나 학습할 수 있게 된다(Carey & Bartlett, 1978; Dollaghan, 1987; Kim, 2014). 아동은 빠른 연결 능력(fast mapping)을 활용하여 새로운 어휘의 음운 및 구문적 표상을 빠르게 형성하며(Dollaghan, 1985), 빠른 연결 능력은 아동의 철자 인식 발달 에도 영향을 미친다(Wolter & Apel, 2010). 따라서 아동의 언어 발달 전반에 빠른 연결 능력은 중요한 역할을 하게 된다. 학령 전 어휘 발달지연 아동과 일반 아동의 빠른 연결 능력 수행을 살펴본 연구에서는 어휘발달지연 아동이 일반 아동에 비해 빠른 연결 과제에서 낮은 수행력을 보이는 것으로 나타났다(Yang, Yim, Kim, & Han, 2013). 또 다른 연구에서 18-31개월 말 늦은 아동 31명을 대상으로 표현 어휘 발달에 영향을 미칠 수 있는 내적 및 외적 요인을 5개월 추적 연구하여 분석한 결과, 빠른 우연 학습 능력에서 5개월 후 정상수준도달 집단이 정상수준미달 집단에 비해 통계적으로 유의하게 높았다. 즉, 말 늦은 아동의 5개월 후 아동의 표현어휘 발달이 빠른 우연 학습 능력과 관련이 있다고 볼 수 있는 결과로 빠른 연결 능력은 말 늦은 아동의 표현어휘 발달에도 영향을 주었다(Lee & Yim, 2020). 또한, 빠른 연결 능력과 관련한 많은 연구결과에서 단순언어 장애 아동이 정상발달하는 아동에 비해 어휘 학습 능력이 유의하게 낮았으며(Gray, 2003b, 2004; Rice, Buhr, & Nemeth, 1990; Rice, Buhr, & Oetting, 1992), 어휘 습득 시 일반 아동보다 더 많은 어휘 노출의 기회와 시간이 필요했다(MacRoy-Higgins & Dalton, 2015; Yang et al., 2013). 이에 더하여, 아동의 현재 언어 능력뿐 아니라 이후의 언어 능력과도 관련이 있다는 것이 보고되었다(Weismer, Venker, Evans, & Moyle, 2013).
빠른 연결 능력을 평가할 수 있는 과제로 빠른 우연 학습(Quick Incidental learning, QUIL)이 있다 (Rice et al., 1990). 이는 비단어가 포함된 이야기 영상을 제시하여 아동이 아무런 단서 없이 빠른 연결 능력을 활용하여 아동의 어휘 학습 수행 능력을 확인하는 과제이다(Oetting, Rice, & Swank, 1995). 빠른 우연 학습 과제는 사전에 아동에게 아무런 단서를 주지 않고 이야기 영상을 보여줌으로써 아동이 새로운 어휘에 우연히 노출되고 어휘를 암묵적으로 학습하도록 설계되어 있다(Yang et al., 2013). 이러한 과정을 통해 아동이 발달 단계에서 자연스럽게 어휘를 습득하는 환경과 유사한 방식으로 아동의 능력을 평가할 수 있다. 빠른 우연 학습 과제를 활용하여 아동의 언어적 정보처리 능력을 측정하고, 언어 기저의 하위 처리 기제 결함을 선별하여 언어발달을 예측할 수 있는 것으로 보고되어 왔다. 때문에 단순언어장애 아동은 빠른 연결 능력에서 어려움을 보이는 것으로 밝혀졌으며(Alt, Plante, & Creusere, 2004; Gray, 2003a), 일반 아동에 비해 빠른 우연 학습 과제에서 낮은 수행을 보였다(Alt et al., 2004; Bishop, 1992; Rice et al., 1990, 1992; Yang & Yim, 2018; Yang et al., 2013; Yim, Kim, & Yang, 2015).
특히, 빠른 우연 학습 수행력은 아동의 어휘 학습 능력과 밀접하게 연관성을 가지는 언어 기저 능력의 수행력과도 연관이 있는 것으로 보고된다(Hong & Yim, 2014; Jackson, Leitao, & Claessen, 2016; Jackson, Leitao, Claessen, & Boyes, 2019; Yang & Yim, 2018; Yim et al., 2015). 다수의 선행 연구에서는 빠른 우연 학습 수행력과 연관될 수 있는 어휘 학습 기저 능력으로 아동의 음운적 민감성(phonological sensitivity) 및 음운적 기억(phonological memory)과 같은 음운 지식이 새로운 어휘를 학습하는 과정에 영향을 미치는 것으로 보고되어왔다. 또한, 일정 시간 동안 특정 자극에 주의를 유지할 수 있는 능력인 지속 주의력(sustained attention) 또한 빠른 우연 학습 수행력과 높은 연관성을 가지는 것으로 보고되었다(Dixon & Salley, 2006; Finneran, Francis, & Leonard, 2009). 특히, 빠른 연결 능력은 과제 수행의 특성상 자극이 최소한 노출된 후에 단기적으로 저장된 의미적, 음운적 표상들이 지속적으로 유지되어야 하는데, 자극의 양이 충분하게 제공되거나 리허설(rehearsal)되는 등의 추가적인 수단이 없이는 지속적으로 유지되기 어렵다. 따라서 제한된 음운 단기기억(phonological short-term memory) 처리 용량(Gray, 2006; Kan & Windsor, 2010)은 단순언어장애 아동의 빠른 의미 연결 수행을 방해하는 잠재 요인으로 설명될 수 있다. 특히, 음운 단기기억은 빠른 연결하기 능력과 관련된 연구에서 가장 주요한 정보처리 요인으로 파악되었으며, 새로운 어휘의 음운 형식을 학습하는 과정에서 중요한 역할을 한다고 알려져 있다(Gathercole, Hitch, Service, & Martin, 1997; Montgomery, Magimairaj, & Finney, 2010).
다수의 선행 연구에서는 빠른 우연 학습 수행력과 연관될 수 있는 어휘 학습 기저 능력으로 작업기억(working memory) 능력에 주목하였다(Baddeley, 1992; Dollaghan & Campbell, 1998; Gathercole & Baddeley, 1990; Just & Carpenter, 1992). 음운 작업기억 능력을 측정하는 대표적인 과제로 비단어 따라말하기(nonword repetition, NWR) 과제를 사용해왔는데(Gathercole & Baddeley, 1990), 이는 청각적으로 입력된 일련의 구어 자극을 즉각적으로 회상하도록 하는 방식으로 진행되며, 많은 선행 연구에서 비단어 따라말하기 과제가 구어 작업기억과 관련이 있음이 밝혀졌다(Archibald & Gathercole, 2006; Gathercole, 2006; Munson, Kurtz, & Windsor, 2005). 한편, 단어목록회상(word list recall) 과제는 Baddeley의 작업기억 요소 중 하나인 일화적 완충기(episodic buffer)와 일화적 완충기가 담당하는 덩이짓기 능력을 측정하는 과제로(Alloway, Gathercole, Willis, & Adams, 2004; Baddeley, Hitch, & Allen, 2009; Baddeley & Wilson, 2002; Boyle, Lindell, & Kidd, 2013), 아동의 언어 문제를 선별하는 데에도 적합한 과제로 설명한다. 음운 작업기억 능력의 결함은 청각적으로 입력되는 자극이 익숙하지 않을수록, 자극의 길이가 길수록 두드러지게 나타나며, 새로운 어휘의 음운 및 의미 처리의 빠른 연결이 저해된 경우 새로운 어휘 학습이 효율적으로 이루어지지 않는 것으로 보고된 바 있다(Alt, 2011; Gray, 2006; Montgomery & Windsor, 2007; Yang et al., 2013). 단어목록 회상 과제를 사용하여 언어발달지체 아동과 일반 아동의 덩이짓기 능력의 차이를 알아본 연구결과에서도 문장 조건에서는 어절 수가 증가할수록 언어발달지체 아동과 일반 아동의 수행력 차이가 유의하게 커졌음을 확인할 수 있었다(Chun & Yim, 2017).
빠른 우연 학습을 측정하는 기존의 많은 과제에서는 아동에게 이야기를 보여준 이후 아동이 새로운 어휘를 학습하였는지를 평가한 비실시간(off-line) 처리 수행력을 측정하였으나(Yang et al., 2013; Yang & Yim, 2018), 최근에는 시선추적기(eye-tracker)를 활용하여 빠른 우연 학습에 대해 실시간(on-line) 처리 수행력을 측정하는 방법이 활용되고 있다. 시선추적기는 과제 수행 과정에서 실시간으로 아동의 인지적 활동 과정을 확인할 수 있게 함으로써 실시간 처리 과정 평가 방법의 유효성을 검증하는 연구들이 각광받고 있다(Chung & Yim, 2020; Yoon & Yim, 2019). 시선추적기법은 컴퓨터 및 장비에 부착된 시선추적기(eye-tracker)의 적외선을 피험자의 눈에 투사한 후, 그 눈에서 반사된 빛을 분석하여 눈의 움직임에 대한 정보를 실시간으로 수집하여 언어처리 양상을 실시간으로(on-line) 알아보는 방법이다. 시선추적기를 통해 피험자의 안구 운동을 실시간으로 분석하여 시선이 어디에 머무르며 어떻게 움직이는지 명확하게 확인할 수 있기 때문에 국내외 언어치료연구에서 다양하게 활용되고 있다(Bolden, Barmby, Raine, & Gardner, 2015). 다수의 연구에서 시선추적기법을 이용하여 자폐범주성장애 아동(Brock, Norbury, Einav, & Nation, 2008; Papagiannopoulou, Chitty, Hermens, Hickie, & Lagopoulos, 2014), 청각장애 아동(Sandgren, Andersson, van de Weijer, Hansson, & Sahlén, 2014), 읽기장애 아동(Desroches, Joanisse, & Robertson, 2006; Kim, Oh, Choi, Kim, & Sung, 2018), 말 늦은 아동 및 단순언어장애 아동(Chung & Yim, 2020; Ellis, Borovsky, Elman, & Evans, 2015; Lum, Youssef, & Clark, 2017; McMurray, Samelson, Lee, & Tomblin, 2010; Song & Yim, 2020; Yoon & Yim, 2019), 이중언어 아동(Bartolotti, Marian, Schroeder, & Shook, 2011; Libben & Titone, 2009; Pellicer-Sánchez, 2016; Pivneva, Mercier, & Titone, 2014) 등 다양한 유형의 집단을 대상으로 안구 움직임 특성을 통해 인지처리 양상을 살펴보았다. 시선추적기를 사용한 연구는 눈이 머무는 곳에서 인지적 활동이 이루어진다는 눈-마음 가정(eye-mind assumption)을 바탕으로 하며(Just & Carpenter, 1980), 눈의 움직임이 상대적으로 멈추어 있는 영역인 고정(fixation), 시선이 빠르게 이동하는 도약(saccade) 등의 지표를 기준으로 피험자의 시선에서 인지적 처리가 어떻게 이루어지고 있는지를 유용하게 살펴볼 수 있다(Rayner, 1998).
특히, 시선추적기법을 활용하여 학령전기 일반 아동과 단순언어 장애 아동의 빠른 우연 학습 과제 수행을 분석하기 위한 시도가 이어져왔다. 선행 연구에서는 비단어가 지칭하는 대상인 관심영역 (Area of Interest, AOI)의 시선고정횟수(the number of fixation counts)에서 일반 아동과 단순언어장애 아동 집단 간 차이가 나타나지 않은 것으로 분석되었다. 그러나 일반 아동 집단은 단순언어 장애 아동 집단에 비해 시선고정시간(fixation times)은 더 긴 것으로 나타났다(Chung & Yim, 2020). 여기서 시선고정시간이 아동의 정보 처리 과정을 의미한다는 점을 고려하면(Rayner, 1998), 시선고정시간이 평균적으로 더 길었던 일반 아동 집단의 인지적 처리가 더 오래 진행되었기 때문에 집단 간 빠른 우연 학습의 수행 차이가 발생한 것을 확인하였다(Chung & Yim, 2020; Yoon & Yim, 2019). 또한, 시선분포를 확인하는 히트맵(heat map)을 통해 관심영역(AOI) 에 대한 단순언어장애 아동의 시선이 일반아동에 비해 분산되어 있는 것도 확인하였다. 선행 연구를 통해 단순언어장애 아동의 분산된 주의력과 상대적으로 짧은 주의집중 시간이 학습에 영향을 미칠 가능성을 시사하였으며(Yoon & Yim, 2019), 일반 아동은 비단어와 새로운 참조물을 연결하는 데 단순언어장애 아동보다 더 많은 시간을 할애할 수 있음을 확인하였다(Chung & Yim, 2020).
또한, 빠른 의미 연결 능력과 언어 기저 능력의 관련성에 대해 살펴보았던 많은 선행 연구에서는 많은 언어 기저 능력 중 작업기억 능력의 영향력에만 초점을 맞추어 보았으며, (Alt, 2011; Archibald & Gathercole, 2006; Gray, 2006; Montgomery & Windsor, 2007; Vugs, Hendriks, Cuperus, & Verhoeven, 2014; Yang et al., 2013; Yim et al., 2015), 빠른 우연 학습(QUIL) 과제의 비실시간(offline) 처리 과정을 살펴본 것에 국한되었다. 또한, 시선추적기법을 사용하여 아동의 어휘 학습 과정의 실시간 양상을 살펴본 연구는 소수에 불과하며(Yoon & Yim, 2019; Chung & Yim, 2020), 표준화된 언어 검사 결과를 기준으로 아동을 언어발달지연 집단과 일반 집단으로 나누어 집단별 시선 처리 양상을 비교 분석하였다. 그러나 선행 연구에서의 언어 능력에 근거하여 구분한 집단 비교 분석과 달리, 본 연구에서는 아동의 현재 언어 능력의 기저 능력으로 빠른 연결 능력에 주목하고자 하였다. 빠른 연결 능력은 아동이 새로운 어휘를 학습할 때 음운 및 의미적 정보의 반복적인 노출을 통해 음운, 의미, 어휘 표상이 강화되는 과정을 거치는데 사용되므로(McGregor, Friedman, Reilly, & Newman, 2002), 빠른 연결 능력을 사용할 때의 실시간 시선처리 양상을 비교하는 것은 아동의 어휘 습득에 있어 심층적인 분석을 가능하게 하므로 관련 연구의 필요성이 제기된다. 또한, 빠른 연결 능력에 따라 집단을 구분함으로써 빠른 연결 능력과 강력한 상관관계가 있는 언어 기저 능력은 무엇인지 확인하는 것은 의미가 있다.
이에 본 연구에서는 전통적인 집단 비교 연구와 같이 표준화된 검사도구로 평가된 아동의 현재 언어 능력에 따라 집단을 나누는 것이 아니라, 아동의 언어 능력 기저의 어휘 습득력을 평가하는 빠른 우연 학습 과제에 대해 비실시간 처리(offline processing) 평가 결과를 토대로 집단을 구분하여 각 집단이 실시간 처리(online processing) 평가 결과에서도 차이를 보이는지 확인하고자 한다. 또한, 빠른 우연 학습 과제에 대한 비실시간 처리평가 결과를 토대로 구분된 집단별 실시간 처리 평가 결과가 작업기억 능력과 유의한 상관관계를 가지는지 알아보고자 하였다. 이에 따른 연구 질문은 다음과 같다.
1) 빠른 우연 학습 과제의 비실시간 처리(offline processing) 수행력이 높은 아동 집단과 낮은 아동 집단 간 빠른 우연학습 과제의 실시간 처리(online processing) 수행력에서 유의한 차이가 나타나는가?
2) 빠른 우연 학습 과제의 비실시간 처리(offline processing) 수행력이 높은 아동 집단 그리고 낮은 아동 집단의 빠른 우연학습 과제의 실시간 처리(online processing) 수행력은 작업기억 능력과 유의한 상관관계를 보이는가?
연구방법
본 연구는 연구자가 소속된 대학교 내 생명윤리위원회로부터 사전 승인을 받은 후 실시되었다(ewha-201908-0015-02).
연구대상
연구참여자는 만 3-6세 학령전기 아동 총 33명이다(Mean age = 61.27, M =17, F =16). 연구에 참여한 아동은 모두 (1) K-ABC 카우 프만 아동 지능검사(Korean Kaufman Assessment Battery for Children, K-ABC; Moon & Byun, 2003)의 하위영역을 통해 평가된 비언어성 지능 검사 결과 표준점수 -1SD 이상이었으며, (2) 교사 및 부모를 통하여 시각, 청각 등의 감각 장애 및 신경학적 결함이 없는 것으로 보고되었다.
본 연구에서는 아동의 기존 언어 능력에 따른 집단의 구분이 아닌, 빠른 우연 학습 과제를 통한 아동의 어휘 습득력이 높은 또는 낮은 집단으로 구분하고자 하였다. 이에 K-mean cluster analysis를 통해 빠른 우연학습의 비실시간(offline) 점수에 기반한 새로운 집단(Cluster)을 생성하였다. K-means cluster analysis는 군집분석의 유형 중 하나로, 군집의 수를 2개(예: 높은 수행과 낮은 수행)로 정하고, 군집의 중심으로부터 가까운 객체를 포함하면서 군집을 형성 하는 방식이다(Noh, 2019). 그 결과, Cluster 1(빠른 우연 학습 과제를 통한 어휘 습득력이 높은 집단)은 14명(Mean age = 62.43, M=8, F = 6), Cluster 2(빠른 우연 학습 과제를 통한 어휘 습득력이 낮은 집단)는 19명(Mean age = 60.42, M=9, F =10)이었다(F(1,31) = 77.104, p=.000).
두 Cluster 간 구분이 잘 이루어졌는지 확인하기 위하여 독립표본 t검정을 실시한 결과, 두 집단은 연령 및 비언어성 인지 능력에 통계적으로 유의한 차이가 없었고(p>.05), 빠른 우연 학습 과제(QUIL) 수행에서 클러스터 간 차이가 통계적으로 유의하게 나타났다(p<.05). 이에 대한 정보를 Table 1에 제시하였다.
Participants’ characteristics
연구변인
연구변인으로는 빠른 우연 학습(QUIL), 언어성 작업기억 과제인 비단어 따라말하기(Nonword repetition), 단어목록회상(Word list recall), 그리고 비언어성 작업기억 과제인 대칭-비대칭 매트릭스(Symmetric-Asymmetric Matrix)를 실시하였다.
빠른 우연 학습(Quick incidental learning)
빠른 우연 학습 과제는 애니메이션 형태로 제작된 것으로 5분 내외의 시간동안 애니메이션과 삽입된 내레이션을 통해 새로운 어휘(비단어)가 연구대상 아동에게 노출된다(Yoon & Yim, 2019). 본 과제에서 비단어는 명사 7개와 동사 3개로 구성되어 있으며, 각 어휘는 아동에게 3회씩 노출된다. 각각의 목표 어휘가 노출되는 동안 시선추적기를 통해 아동의 눈 움직임을 측정하여 실시간(online processing) 데이터를 수집하였으며, 영상이 종료된 이후 노출된 비단어 습득 평가를 진행하여 어휘 학습 수행 점수인 비실시간(offline processing) 데이터를 수집하였다. 본 연구에서 사용한 결과 기록지 및 비디오 스크립트는 각각 Appendix 1과 2에 제시하였다.
실시간(online processing) 데이터는 시선추적기(SMI REDn Scientific)가 부착된 모니터를 활용하여 과제가 제시되는 동안 나타나는 아동의 눈 움직임을 토대로 한 실시간 처리 과정 데이터를 총 3번의 목표 어휘 노출횟수에 따라 각각 시선고정횟수(Fixation count, FC), 시선고정시간(Fixation duration, FD)을 측정하였다. 본 과제에서 사용된 비단어의 관심영역(area of interest, AOI)은 비단어(새로운 어휘)를 포함하는 청각적 스크립트 문장이 제시될 때, 비단어의 청각적 노출이 끝나는 시점을 기준으로 화면에서 각각의 비단어가 지칭하는 사물이 사라지기 전까지 노출된 영역으로 지정하였다. AOI가 노출되는 시간은 각 단어마다 480-2,040 ms이었으며 평균 AOI의 노출시간은 1,405.43 ms이었다. AOI의 크기는 전체 화면의 0.3-48.3%였으며 평균 AOI의 크기는 688,864.538 pixel이었다.
비실시간(offline processing) 데이터는 아동이 빠른 우연 학습 과제(QUIL) 시청이 끝나고 난 이후, 4개의 그림 중 목표 단어에 해당하는 그림을 선택하는 수용어휘 과제를 통해 어휘 학습 유무를 평가하였다. 연구에서 사용한 수용어휘 평가 그림 자료의 예시는 Appendix 3에 제시하였다.
언어성 작업기억
비단어 따라말하기(Nonword repetition)
아동의 음운 작업기억 능력을 측정하기 위하여 본 연구의 비단어 따라말하기 과제는 Yim과 Han (2019)의 과제를 사용하였다. 과제의 문항은 2음절, 3음절, 4음절, 5음절, 6음절로 구성된 비단어가 각 3개씩, 총 15개의 목록으로 구성되어 있다. 검사자는 소음이 없는 조용한 방에서 아동에게 음성파일로 녹음된 비단어를 컴퓨터를 통해 제시하였다. 아동은 시각적 단서 없이 각 음절당 약 2초간격으로 제시되는 비단어를 한 개씩 듣고 즉시 반복하여 따라 말하 였으며, 검사자는 아동의 반응을 즉각 전사하였다. 채점은 선행연구(Yim, Kim, & Yang, 2016)를 참고하여 1번부터 15번까지 총 15개의 비단어 중에서 모든 음소를 정확하게 회상하였을 경우 1점, 한 음소라도 틀리게 회상하였을 경우 0점을 부여하여 총 15점 만점으로 기재한 단어점수를 산출하였다.
단어목록 회상(Word list recall)
아동의 일화적 완충기를 측정하기 위하여 단어목록 회상하기 과제는 Chun과 Yim (2017)의 과제를 사용하였다. 검사 문항은 문장 순 배열 13문항과 무선 순 배열 13문항, 총 26문항으로 구성되었다. 문장 순 배열은 조사를 제외한 내용어(content words)만을 제시하는 조건이며(예: 예쁜/그림/그려요), 무선 순 배열은 문장 순에서 사용되는 낱말과 동일한 낱말을 사용하지만 한국어 문장 배열 순서를 따르지 않도록 낱말들을 섞어 재배열하였다(예: 먹어요/배고 파서/빨리). 검사 문항은 각 3문항씩 3어절 단문, 5어절 단문, 5어절 복문, 7어절 접속 복문으로 구성되어 있다. 문항별로 회상해야 하는 낱말에 1점을 부과하여 점수를 계산하였으며, 아동의 오반응한 경우에는 오반응 유형에 따라 다르게 채점하였다. 오반응 채점 기준은 (1) 생략 또는 대치가 일어난 경우 1점 감점, (2) 어절의 도치는 횟수와 상관없이 1점 감점, (3) 삽입 또는 용언의 어미 변화는 감점하지 않음을 적용하여 채점하였다.
비언어성 작업기억
대칭-비대칭 매트릭스(Symmetric-Asymmetric Matrix)
아동의 시공간 기억 폭을 측정하기 위하여 대칭-비대칭 매트릭스(Chun & Yim, 2017)과제를 사용하였다. 과제는 컴퓨터 모니터에 4×4 배열의 흰색 정사각형 16개가 제시되며, 기억폭에 따른 개수 별로 파란색 불빛이 차례대로 점등된다. 검사자가 모니터로 아동에게 과제를 한 문항씩 제시하면, 아동이 파란색 불빛이 점등되는 순서를 기억한 뒤 해당 문항의 점등이 끝나면 점등된 순서와 동일한 순서로 모니터를 가리키도록 하였다. 검사의 기억폭은 3, 4, 5개로 순차적으로 증가하도록 되어있으며, 각 기억폭마다 대칭 순서로 제시되는 4문항과 비대칭 순서로 제시되는 4문항 총 8개 문항으로 구성되어 본 과제의 총 문항은 24개였다. 정반응한 문항별 1점을 부여하였고, 오반응한 문항은 문항별 0점을 부여하여 얻을 수 있는 최고점수는 24점이다.
자료분석 및 결과처리
빠른 우연 학습(Quick incidental learning) 과제를 통하여 수집된 시선추적 데이터는 관심영역(Areas of Interest, AOI)을 기준으로 분석이 이루어졌다. 본 연구의 관심영역은 과제 내 학습 대상이 되는 어휘(novel words) 10개에 해당하는 그림 영역으로 설정하였으며, 각각의 어휘는 3회에 걸쳐 반복 노출되었다. 시선추적 데이터는 AOI에 대한 총 시선고정시간(fixation duration)과 시선고정횟수(fixation count)로 분석되었다. AOI에 대한 각 Cluster 1, 2 시선추적 분포의 예를 Figure 1에 제시하였다.
Example of eye-tracking heatmap (AOI) in each cluster (left = cluster 1, right = cluster 2).
비단어 따라말하기(Nonword repetition) 과제는 정반응한 문항(단어)을 점수화하여 총점을 산출하였으며, 단어목록회상(Word list recall) 과제는 문항별로 회상해야 하는 낱말에 1점을 부과하여 점수를 계산하였으며, 아동의 오반응한 경우에는 오반응 유형에 따라 다르게 채점하여 총점을 산출하였다. 대칭-비대칭 매트릭스 (Symmetric-Asymmetric Matrix) 과제는 문항별 기억폭에 따라 순차적으로 점등되는 순서를 기억하여 정확하게 회상하는 경우 1점을 부여하여 총점을 산출하였다.
본 연구의 통계분석을 위해 SPSS ver.25 (SPSS Inc, Chicago, IL, USA)를 사용하였으며, 연구 목적에 따라 집단 간 차이 분석에는 일원분산분석(one-way ANOVA), 상관관계 분석에는 Pearson의 상관관계 분석을 실시하였다.
연구절차
전체 아동은 선별검사인 K-ABC 카우프만 아동 지능 검사에 참여하였으며, 이후 본 검사에 참여하였다. 본 검사는 빠른 우연 학습 과제(시선추적기를 활용한 실시간 처리 측정, 시선추적기 과제 이후 비실시간 어휘 학습 능력 측정)와 언어성 작업기억 과제(비단어 따라말하기, 단어목록회상), 비언어성 작업기억 과제(대칭-비대칭 매트릭스)로 구성되어 있으며, 연구 참여 대상 아동은 해당 연구 과제에 모두 참여하였다.
연구 대상자 집단을 구분하기 위한 측정치이면서 동시에 본 연구의 주요 변인인 ‘빠른 우연 학습’ 과제의 세부적인 실시 절차는 다음과 같다. 대상자에게 5분 내외의 빠른 우연 학습 과제 영상 2개를 연속으로 제시하였으며, 아동에게 과제 영상 시청 이후 평가가 이루어진다는 지시를 주지 않았다. 시선추적기(eye tracker)가 부착된 모니터(1,920*1,080)를 사용하여 과제 영상을 제시하였으며, 시선 추적기가 부착된 컴퓨터 모니터와 아동의 거리는 약 60-70 cm였다. 시선추적기를 통해 각 자극이 노출될 때 아동의 눈 움직임 정보를 수집하였으며, 과제 영상 제시 전 보정(calibration)단계를 거쳐 아동의 시선이 정확하게 측정될 수 있도록 아동의 얼굴과 위치를 조정하였다.
빠른 우연 학습 과제 영상 시청이 끝난 후, 과제 영상에서 노출된 새로운 어휘(비단어) 학습 여부를 알아보기 위해 어휘 습득 검사를 실시하였다. 검사자는 아동에게 4개의 그림을 제시한 후, 검사자가 제시하는 단어가 어떤 그림에 해당하는지 아동이 고르도록 하였다. 이와 같이 과제 후 실시한 아동의 새로운 어휘(비단어) 학습 여부에 대한 결과를 비실시간(off-line)점수로 기록하였고, 비실시간 처리(offline processing) 수행력이 높은 아동 집단(cluster 1)과 낮은 아동 집단(cluster 2)로 나누어 빠른 우연 학습 과제 동안 수집된 아동의 실시간(online) 시선 처리를 확인하였다.
연구결과
클러스터 간 빠른 우연 학습의 실시간 처리 수행력 차이
빠른 우연 학습 과제의 비실시간 처리(offline processing) 수행력이 높은 아동 집단(cluster 1)과 낮은 아동 집단(cluster 2) 간 빠른 우연 학습 과제의 실시간 처리(online processing) 수행력에서 유의한 차이가 있는지 알아보기 위해 일원분산분석(one-way ANOVA)를 실시하였다. 그 결과, 집단 간 시선고정횟수(fixation count)의 차이가 통계적으로 유의하지 않았다(p>.05). 반면, 세 번째 노출 조건에서 관심 영역(AOI)에 대한 시선고정시간(fixation duration)에서 집단 간 차이가 유의하였다(F(1,31) = 4.209, p=.049). 즉, 어휘 노출 횟수가 많아질수록 Cluster 1의 시선고정시간이 Cluster 2에 비해 유의하게 짧아졌다. 이에 대한 기술통계량은 Table 2에, 분석 결과는 Figure 2에 제시하였다.
Descriptive statistics of fixation duration and fixation count by clusters
Comparison of fixation duration between cluster 1 and 2.
클러스터별 빠른 우연 학습의 실시간 처리 수행력과 작업기억 능력 간 상관관계
빠른 우연 학습의 비실시간 처리 수행력이 높은 집단인 Cluster 1에서 빠른 우연 학습 능력의 첫 번째 노출 조건에서 작업기억 능력과 유의한 상관관계를 보이는 것으로 나타났다. 첫 번째 노출 조건에서 시선고정시간(Fixation duration, FD)과 유의한 상관을 보인 작업기억 과제는 음운 작업기억력인 비단어 따라말하기(Nonword repletion, NWR) (r = .536, p=.048)로 나타났으며, 시선고정횟수 (Fixation count, FC)와 유의한 상관을 보인 작업기억 과제는 일화적 완충기 과제인 단어목록회상(Word list recall)의 문장어순(r = .641, p=.014), 자유어순(r = .637, p=.014) 조건으로 나타났다. 한편, 빠른 우연 학습의 비실시간 처리 수행력이 낮은 집단인 Cluster 2에서는 빠른 우연 학습의 실시간 처리 능력과 유의한 상관을 보인 작업기억 능력은 나타나지 않았다(p>.05). 이에 대한 결과를 Tables 3과 4에 제시하였다.
Correlation coefficient among working memory tasks in Cluster 1
Correlation coefficient among working memory tasks in Cluster 2
논의 및 결론
본 연구는 아동의 표준화 언어 검사를 통해 아동들의 기존 언어 지식에 근거한 현재 언어 능력에 따라 집단을 나누기 보다는, 새로운 단어에 대한 어휘 학습 능력을 평가하는 과제인 빠른 우연 학습 (QUIL)의 처리 수행력에 따라 점수가 높은 집단(Cluster 1)과 낮은 집단(Cluster 2)으로 구분하여, 빠른 우연 학습의 실시간 처리 수행력의 차이를 알아보고, 집단별 빠른 우연 학습의 실시간 처리 수행력과 작업기억 능력과의 상관관계를 알아보고자 하였다. 이 연구의 주요 결과에 대한 논의는 다음과 같다.
첫째, 집단 간 시선추적기를 활용한 빠른 우연 학습의 실시간 처리 수행력과 관련하여, Cluster 1과 Cluster 2 간 시선고정횟수(Fixation count)에는 유의한 차이가 없는 것으로 나타났다. 이는 언어 발달지연 아동과 일반 아동 집단을 비교하였을 때 집단 간 시선고정횟수에서는 차이가 나타나지 않았던 기존의 시선추적기 활용 연구 결과와 일치하는 결과이다(Chung & Yim, 2020; Yoon & Yim, 2019). 한편, 새로운 어휘에 노출되는 횟수가 많아질수록 Cluster 1의 시선고정시간은 짧아지는 경향을 보였으나, Cluster 2의 시선고정시간은 오히려 길어지는 경향을 보였다. Cluster 1의 시선고정시간 변화 패턴에 대해 분석하여 볼 때, 이는 빠른 우연 학습 과제를 통한 어휘 학습 능력이 좋은 아동의 경우 초기 노출에서 학습 여부가 결정되며, 그 이후 노출에서는 점차적으로 시선고정시간이 오히려 짧아짐으로써 이미 습득한 어휘를 보다 효율적으로 처리할 수 있다는 선행 연구의 결과와 일치한다 (Chung & Yim, 2020; Ellis et al., 2015). 또한, 일반 아동과 언어발달지연 아동을 집단으로 구분하여 3회의 노출 동안 아동의 시선고정시간 패턴에 대해 분석하였던 선행 연구와 마찬가지로, 본 연구의 Cluster 1 아동 집단에서 일반 아동과 유사한 실시간 어휘 학습 패턴을 보이고 있으며, 이는 어휘 습득 과정의 효율성 측면에서 Cluster 1이 일반 아동과 동일한 측면을 나타낸다는 점을 확인할 수 있다. 일반 아동과 언어발달지연 아동을 대상으로 이들 집단의 어휘 발달 패턴에 대해 분석하였던 많은 선행 연구에서는 아동의 어휘 능력을 언어 수준으로 나누어 분석해왔지만, 본 연구에서는 언어 발달 수행력이 아닌 어휘 습득 능력에 초점을 맞추어 집단 구분을 실시하였다. 본 연구의 분석 결과를 통해 언어발달지연으로 분류되는 아동일지라도 이들 아동의 어휘 학습 수행력은 다르게 나타날 수 있으므로 세부적인 언어 요소별 학습 수행력에 근거하여 평가 및 중재가 이루어져야 할 필요가 있음을 시사한다.
시선추적기 활용 연구에서 관심영역에 대한 고정시간이 길어지는 것이 해당 영역에 대해 정보처리가 일어나고 있다는 것이라는 점을 고려할 때 (Yu & Smith, 2011), 이와 같은 분석 결과는 QUIL 과제를 통해 실제로 많은 어휘를 습득한 아동이 첫 노출에서 이미 어휘를 학습해내며 그 이후 노출 단계에서는 더욱 효율적으로 정보를 처리하고 있다는 점을 보여준다. 어휘를 비교적 많이 습득하지 못한 아동(Cluster 2)은 노출횟수가 증가할수록 시선고정시간이 상대적으로 증가하는데 이는 일반 아동에 비해 새로운 어휘의 첫 노출 시 즉각 해당 참조물에 대한 시선고정시간이 상대적으로 짧지만, 이후 새로운 어휘의 노출이 거듭될수록 시선고정시간이 증가하며 새 단어에 대한 정보처리가 이루어지는 것으로 보인다. 이러한 Cluster 2 집단의 시선고정시간이 증가하는 결과는 정상 발달 아동과 언어지연 아동으로 집단을 구분한 선행연구(Chung & Yim, 2020)의 정상 발달 아동 집단의 시선고정시간이 길어지는 것과 비슷한 경향을 보이는 것으로, 본 연구에서 Cluster 2에 속하는 아동들의 빠른 우연 학습(QUIL) 처리 수행력이 낮은 점을 고려할 때 아동의 처리 수행력은 아동의 어휘 학습 시 효율성의 차이에 영향을 준다는 점을 추론할 수 있다. 그러나 본 연구에서는 Cluster 2에 속하는 아동들의 어휘학습의 효율성에 영향을 미치는 요인이 아동의 처리 수행력에 기인한 것인지 혹은 다른 변인에 의해 영향을 받은 것인지는 확인할 수 없었으므로 향후 연구에서 보완이 될 필요성이 있다.
둘째, 상관분석 결과를 통해, Cluster 1에서는 언어적 작업기억 능력이 빠른 우연학습의 시선추적 분석 결과 중 첫 번째 노출에 대한 시선고정시간과 시선고정횟수 결과와 유의한 정적 상관관계를 갖는 것으로 나타났다. 이는 QUIL 과제를 통해 실제로 많은 어휘를 습득한 아동의 경우, 언어적 작업기억 능력이 청각적으로 제시되는 정보를 자동적으로 부호화하고 빠른 연결 능력이 효율적으로 작용하는 데 긍정적인 역할을 했을 것으로 분석된다. 따라서 이는 새로운 어휘에 대한 첫 번째 노출에서 의미 연결을 집중적으로 처리한다는 것으로 해석된다. 반면, Cluster 2의 QUIL 시선추적기 분석 결과와 언어적 작업기억 능력은 유의한 상관관계가 없는 것으로 나타났다. QUIL 과제에서 어휘 학습 능력이 낮은 아동의 경우, 제한된 어휘 노출 횟수 조건에서 새로운 어휘를 학습하도록 하는 것은 이들 집단의 언어 처리 용량에 부담을 주었거나 어휘 학습 시 작업기억 능력의 활용이 원활하지 않았을 것으로 추측하여 볼 수 있다. 이는 청각적으로 익숙하지 않은 자극이 제시될 때, 음운 작업기억 용량의 한계로 인해 새로운 어휘 학습이 제한적이라는 연구와 상응하는 결과로 보인다(Alt, 2011; Gray, 2006; Montgomery & Windsor, 2007; Yang et al., 2013). 또한 이들 집단의 실시간 처리 과정과 비언어성 작업기억 능력과도 간 유의한 상관관계가 나타나지 않았다. 애니메이션 자료를 볼 때, 영상의 움직임으로 인해 아동들은 시각적 주의집중력이 길어지고, 이야기에 내재된 세부사항을 잘 이해하며, 언어적 정보와 비언어적 정보를 잘 통합한다는 가설을 뒷받침한다는 Takacs와 Bus (2016)의 연구 결과에서 더 나아가, QUIL 과제에서 어휘 학습 능력이 낮은 아동들의 경우에는 새로운 단어를 학습할 때 비언어성 작업기억 능력을 충분히 활용하지 못했을 것이라 추측해 볼 수 있다. 어휘 학습 점수가 낮게 나타났던 단순언어장애 집단이 청각적 지속주의 과제에서도 결함이 나타났던 선행 연구를 토대로 볼 때(Dodwell & Bavin, 2008; Noterdaeme, Amorosa, Mildenberger, Sitter, & Minow, 2001; Spaulding, Plante, & Vance, 2008), Cluster 2에게서 나타나는 AOI에 대한 분산된 주의력, 실질적으로 어휘 학습 여부를 결정짓는 초기 노출 시의 짧은 주의집중 시간이 Cluster 2의 어휘 학습에 영향을 주었을 것으로 추론된다(Yoon & Yim, 2019). 언어성 및 비언어성 집행기능 능력을 살펴본 Chun과 Yim (2017)의 연구결과에서도 단순언어장애 아동은 언어적 덩이짓기 뿐만 아니라 대칭-비대칭 매트릭스에서도 작업기억 능력에 한계가 있음이 보고되었다. 한편으로는, Cluster 2에서 통계적으로 유의한 상관이 나타나지 않았으나 상관계수가 높게 나타난 경우로 첫 번째 노출 시의 시선고정시간(FD_1)과 비언어성 작업기억, 첫 번째 노출 시의 시선고정횟수(FC_1)와 비언어성 작업기억이 나타난 것으로 볼 때, 새로운 어휘의 첫 노출 시 언어성 작업기억과 시선고정시간 및 시선고정횟수 간 유의한 상관이 나타났던 Cluster 1과 차별화된 양상을 보일 수 있음을 의미한다. 다만 변수가 많고, 연구에 참여한 대상자 수의 제한으로 유의미하게 나오지 않았을 가능성이 있다.
본 연구에서는 전통적인 집단 비교 연구와 같이 표준화 검사도구로 평가된 아동의 현재 언어 능력에 근거하여 집단을 나누는 것이 아닌, 아동의 언어 능력 기저의 빠른 연결 능력 또는 어휘 학습 능력에 따라 집단(cluster)을 나누어, 빠른 우연 학습(QUIL) 과제의 실시간 처리 과정에 유의한 차이가 있는지 시선추적장비를 통한 데이터를 분석하여 비교해보고, 실시간 처리 과정 변수와 언어성 및 비언어성 작업기억 능력과 유의한 상관관계를 보이는지 확인하고자 하였다. QUIL 과제를 통한 어휘 학습 능력이 높은 아동(Cluster 1)의 시선고정시간 변화 패턴에 대해 분석하여 볼 때, 빠른 우연 학습 과제를 통한 어휘 학습 능력이 좋은 아동의 경우 초기 노출에서 학습 여부가 결정되며, 그 이후 노출에서는 점차적으로 시선고정시간이 오히려 짧아짐으로써 이미 습득한 어휘를 보다 효율적으로 처리할 수 있음을 논의하였다. 반면 QUIL 과제를 통한 어휘 학습 능력이 낮은 아동(Cluster 2)의 경우, 빠른 연결 능력과 언어 기저 능력 간 유의한 상관관계가 나타나지 않았으나, 총 세 번의 새로운 어휘 노출 중 첫 번째 노출 시의 시선고정시간 및 시선고정횟수가 비언어성 작업기억과 상관계수가 높은 경향을 보이므로 이들 역시 초기 노출에서의 AOI에 대한 주의력 증진이 새로운 어휘 학습에 유용할 수 있는지 후속 연구를 통해 확인할 필요가 있다. 또한, 본 연구에서의 제한된 연구 대상자 수를 보완함과 동시에, 시선추적 변인과 작업기억 외 다양한 과제들 간의 관계를 탐색하여 어휘 학습 능력이 낮은 아동 집단의 실시간 처리 과정에 관여하는 기저 능력에 대한 추가적 탐색이 필요할 것으로 보인다.
References
Appendix
Appendix 3. Example of the receptive test of QUIL task
