시선추적기를 활용한 이야기 이해 및 산출 과제의 어휘발달지연 판별 효용성 탐색
Exploring the Utility of Narrative Comprehension and Production Tasks to Identify Vocabulary Delay Using Eye-Tracker
Article information
Abstract
배경 및 목적
본 연구에서는 이야기 과제 수행의 다양한 측면(이해, 산출, 이야기 과제 수행 시의 시선추적변수)에서의 집단 간 차이를 확인하고, 최종적으로 거시적 측면에서의 이야기 변수들을 통해 미시적인 어휘상의 어려움(어휘발달지연)을 탐지해낼 수 있는지 탐색해보고자 하였다.
방법
초등학교 1-2학년 아동(일반 아동 101명, 어휘발달지연 아동 22명)이 본 연구에 참여하였다. 모든 아동은 이야기 이해, 산출 과제에 참여하였으며, 이야기 이해 과제에서 ‘읽기’ 조건을 포함한 두 조건(‘듣기+읽기’, ‘읽기’)에서는 시선추적변수를 추출하였다.
결과
이야기 이해 과제 수행 시 ‘듣기+읽기’ 조건, 이야기 산출 과제 수행에서는 ‘구성’ 조건, 시선추적변수에서 ‘전체 시선 고정 시간’에서 두 집단 간 유의한 차이를 보였다. 이야기 과제 수행 변수들을 통해 어휘발달지연을 잘 판별해낼 수 있는지 살펴본 결과, 표준화 어휘 검사를 기반으로 한 원 집단 케이스 중 총 79.6%가 이야기 과제 수행 변수들로 올바르게 분류될 수 있는 것으로 나타났다. ROC 분석을 통해서도 이야기 ‘듣기+읽기’ 조건의 이해 점수, 이야기 ‘구성’ 조건의 산출 점수, 그리고 ‘듣기+읽기’ 조건의 전체 시선 고정 시간의 조합으로 84.6%의 아동이 타당하게 판별되는 것으로 나타났다.
논의 및 결론
본 연구의 이야기 과제들을 통한 어휘발달지연의 확인 시 시선추적기를 활용한 이야기 이해 및 산출 과제가 유용한 도구로 활용될 수 있는 가능성을 탐색한 데에 본 연구의 의의가 있다.
Trans Abstract
Objectives
The purpose of this study was to identify group differences in various aspects of narrative tasks performance (comprehension, production, and eye-tracking variables) and finally to explore whether narrative tasks can be used to detect vocabulary delay.
Methods
Children in the 1st and 2nd grades (TD= 101, VD= 22) of elementary school participated in this study. All children participated in story comprehension and production tasks, and eye-tracking variables were extracted from two reading conditions (‘listening+reading’, and ‘reading’) in the story comprehension task.
Results
There was a significant difference between the two groups in the ‘listening+reading’ condition in the story comprehension task, the ‘construction’ condition in the story production task, and the ‘total fixation duration (TFD)’ in the eye-tracking variables. We examined the ability of the story performances to discriminate vocabulary delays, and found that a total of 79.6% of the original cases based on the standardized vocabulary test could be correctly classified by the story performance variables. The ROC curve also showed that 84.6% of the children could be validly identified by a combination of narrative comprehension scores in the ‘listening+reading’ condition, narrative production scores in the ‘structure’ condition, and TFD in the ‘listening+reading’ condition of comprehension task.
Conclusion
The significance of this study is that it explored the possibility of using narrative tasks as a useful tool for identifying micro-level vocabulary delays.
이야기(narrative)는 특정 관점에서 시간적 또는 인과적으로 관련된 일련의 문장들이 순서대로 나열된 것을 말한다(Peterson, 1990; Suggate, Schaughency, McAnally, & Reese, 2018). 타인에게 응집력 있고 일관성 있는 이야기를 전달하기 위해서는 세부 언어적 기술 및 인지적 기술이 적절하게 뒷받침되어야 한다(Khan, Logan, Justice, Bowles, & Piasta, 2021). 이야기를 잘하는 경우 더 많은 어휘를 가지고 있는 경향이 있으며(Uccelli & Páez, 2007), 더 나은 구문 능력(Berman & Slobin, 1994), 더 정교한 메타언어 능력(Hipfner-Boucher et al., 2014), 작업기억(Montgomery, Polunenko, & Marinellie, 2009), 그리고 실행기능(Friend & Bates, 2014)을 지니는 것으로 알려져 있다. 실제로 이야기 발달 과정에서 어휘와 문법 같은 세부 언어 능력의 점진적인 발달은 아동의 이야기 구성 능력과 같은 더 높은 수준의 언어 능력의 질적 변화를 가져온다(Fiorentino & Howe, 2004; Khan et al., 2021; Sénéchal, Pagan, Lever, & Ouellette, 2008). 아동기의 풍부한 어휘경험에서 비롯된 어휘지식은 추후 이야기 능력과 긴밀하게 연관되므로 중요하다(Dickinson & Porche, 2011). 아동이 다양한 어휘를 보유할수록 등장인물과 사건에 대해 보다 명확하게 이야기할 수 있으며, 더 정교한 문법으로 적절한 연결 장치를 사용하여 문장을 구성할 수 있다고 알려져 있다(Khan et al., 2021; Uccelli & Páez, 2007).
이야기 능력은 크게 이야기를 이해하는 능력과 산출하는 능력으로 나누어서 살펴볼 수 있다. 먼저, 이야기를 이해하는 능력을 ‘듣기 이해력’과 ‘읽기 이해력’으로 나누어서 생각해볼 때, ‘듣기’ 이해력’의 발달은 ‘읽기 이해력’ 발달에 선행하며, 초등 저학년부터 ‘듣기 이해력’은 ‘읽기 이해력’에 지배적인 영향을 미치는 것으로 알려져 있다(Hogan, Adlof, & Alonzo, 2014). 듣기 이해력 발달의 저하는 적절한 읽기 이해력의 발달에도 부정적인 영향을 줄 수 있다. 음성으로 제시된 이야기를 이해하기 위해 아동은 우선은 이야기에 주의를 기울일 수 있어야 하고, 들을 이야기를 단기기억장치에 효율적으로 저장해야 한다. 음성을 듣고 이해하는 것은 텍스트를 통해 이해하는 데 사용되는 것과 동일한 언어처리 과정을 겪지만, 읽기 이해에는 텍스트를 해독해야 하는 인지적 요구가 추가된다는 특징이 있다. 일반적으로 읽기의 주된 목적은 읽은 내용을 이해하는 것인데, 더 높은 수준의 읽기에는 익숙하지 않은 어휘가 포함된 문장을 읽으면서 익숙하지 않은 단어의 의미를 습득하는 것을 포함하며, 텍스트의 의미를 반추하고 독서를 통해 지식을 습득한다(Biemiller, 2006; Speece & Ritchey, 2005; Swanborn & de Glopper, 2002). 또한, 더 나은 이야기 이해 능력을 갖추기 위해서는 먼저 음성 또는 텍스트로 제시되는 이야기에 포함된 단어와 문장 등 세부 언어학적 요소들을 이해할 수 있어야 하며, 개별 단어와 문장 이해를 넘어 이야기의 여러 요소를 통합하는 정신적 모델을 구축할 수 있어야 한다(Kintsch, 2005). 그리고 이야기 요소 및 사전지식을 응집된 형태로 통합할 수 있어야 한다.
이야기를 제시하는 방식은 청각적 제시(음성), 시청각 동시 제시(음성+그림 또는 텍스트), 시각적 제시(텍스트)로 세분화될 수 있는데, 이야기가 시청각적으로 동시 제시될 때 두 가지 감각양식은 상호작용하며 전반적인 이야기 의미 이해에 기여하게 된다(Cohn, 2016). 일반적으로 다중양식의 이야기 제시는 제한된 작업기억의 용량을 효율적으로 활용할 수 있게 하여 아동의 이해에 도움이 되며, 시각적 제시 정보는 청각적으로 제시되는 음성언어 정보와 함께 병렬로 처리가 가능하다고 알려져 있다(Carney & Levin, 2002; Seger, Wannagat, & Nieding, 2019). 즉, 시각적 텍스트를 읽는 과정에서의 청각적 설명(또는 오디오북의 사용)은 아동들의 주의집중을 유도하는 데 유용할 수 있다(Krejtz, Szarkowska, Krejtz, Walczak, & Duchowski, 2012). 그러나, 연구 대상자에 따라 다중양식의 이야기 제시 효과는 다르게 작용할 가능성도 존재하며, 아동의 연령 또는 특성에 따라 아동들에게 제시되는 청각 또는 시각적 자극의 형태에 따른 이야기 과제 수행 능력은 오히려 약화되거나 촉진될 수 있다(Mills, 2015). 이와 관련된 선행연구에서 8세 및 10세 아동, 그리고 성인을 대상으로 청각, 시청각, 시각적 감각양식에 따라 이야기 이해에 차이를 보이는지 조사하였다(Wannagat, Waizenegger, & Nieding, 2017). 그 결과, 8세 아동의 경우 텍스트를 시각적으로 제시한 것에 비해 시청각 또는 청각적 제시의 이점을 누린다는 것을 확인하였으나, 10세 아동 및 성인의 경우 감각적 제시 양식 차이에 따른 차이가 나타나지 않아 아동의 연령에 따라서도 결과가 다르게 나타날 수 있다.
아동의 이야기(또는 텍스트)를 읽는 과정에서의 안구 움직임을 모니터링하는 연구는 아직 드물게 나타나지만, 읽기 과정 속에서 나타나는 안구 움직임의 패턴을 확인하는 것은 의미 있는 작업이며, 이를 통해 읽기에 어려움을 보일 수 있는 아동 집단의 특성을 확인하거나 읽기 과정 중 아동이 실시간으로 보일 수 있는 데이터를 수집할 수 있는 장점이 있다(Park, Yang, Jeong, Kim, & Yim, 2023). 유치원-초등학교 4학년까지의 아동들을 대상으로 공유된 책읽기 상황에서 안구움직임을 모니터링하여 읽기 발달 전반에 걸쳐 글자에 주의를 기울이는지 유무를 조사하였을 때, 학년이 올라가고 읽기 실력이 향상됨에 따라 책에서 글자를 읽는 시간과 도약(saccade) 비율이 더 높아지는 것으로 나타났다(Roy-Charland, Saint-Aubin, & Evans, 2007). 즉, 언어 능력이 높아질수록 글자(텍스트)에 시선을 두고 주의집중 하는 시간이 늘어난다는 것이다.
아동의 이야기 산출 능력은 일반적으로 아동이 사용하는 언어(단어, 구문 등)가 질적으로 풍부한지, 핵심 정보를 정확하게 기억하여 전달하는지에 중점을 두고 이야기하는 능력을 말한다(Suggate et al., 2018). 이야기에는 등장인물 및 사건에 대한 정보뿐만 아니라 이야기하는 사람의 관점을 표현하는 코멘트가 포함된다. 따라서 이야기를 산출하는 능력에는 세부 언어적 기술을 통합하는 능력, 사건과 등장인물의 내적 상태(감정, 의도, 생각)를 긴밀하게 연결할 수 있는 능력 역시 포함된다(Suggate et al., 2018). 이야기 회상(story retelling)을 잘 하기 위해서는 제시된 이야기의 핵심내용을 토대로 동일한 내용을 유지하면서 줄거리 전개에 사용되는 단어와 시간적 순서에 따른 문장 구조를 유지하며 이야기를 재생산해야 하고, 이야기 구성(story structure)을 잘 해내기 위해서는 그림에서 이야기의 요점을 추출하고 언어적으로 구조화할 수 있어야 한다(Mills, 2015). 시각적 그림 제시는 단어나 문장 등 언어적 자극을 직접적으로 제시하지 않는다는 점을 감안할 때 아동들이 그림카드를 보고 스스로 이야기를 구성해나가는 과제 수행 시 들은 이야기를 회상하는 것에 비해 상대적으로 더 어려울 수 있다. 이와 같이 일반적으로 이야기 회상은 이야기 구성(또는 생성)보다 쉬운 작업으로 간주될 수 있음에도 불구하고, 언어에 어려움을 보이는 아동은 이야기 회상 과제에서도 저조한 수행을 보이며(Andreu, Sanz-Torrent, Guàrdia Olmos, & Macwhinney, 2011; Boudreau, 2008; Pico et al., 2021), 읽기장애 아동은 일관성 있고 복잡한 이야기를 산출하는 데 어려움을 겪는다(Bishop & Adams, 1990; Westerveld & Gillon, 2010). 특히, 학령기 아동을 대상으로 한 연구들을 살펴보면, 언어 발달지연 아동은 또래 일반 아동에 비해 어휘 다양성이 적고(Fey, Catts, Proctor-Williams, Tombin, & Zhang, 2004), 복잡성이 낮은 이야기를 산출하는 경향이 있었다(Bishop & Donlan, 2005; Manhardt & Rescorla, 2002).
다양한 어휘를 보유하는 것은 인물과 사건에 대한 높은 수준의 이해와 적절한 참조를 갖춘 이야기 산출에 도움이 된다(Uccelli & Páez, 2007). 즉, 어휘가 부족하면 이야기 능력도 낮을 것으로 추론해볼 수 있다. 어휘는 이야기에 기여하는 문법적 능력의 가속적 성장을 촉진할 수 있으며, 아동이 충분한 어휘를 갖추었을 때 동사의 굴절(verb inflection)과 같은 정교한 문법형태론적 능력도 나타나게 된다. 동사의 굴절(verb inflection)이란, 동사(단어)가 어떤 문법 범주를 나타내기 위해 형태를 변화시키는 것을 말한다. 예를 들면, 과거시제를 표현하기 위하여 ‘먹다’라는 동사에 과거시제를 나타내는 ‘-었’을 붙여 ‘먹었다’라는 표현을 할 수 있어야 한다. 이러한 동사의 굴절능력은 아동에게 충분한 어휘량이 갖추어졌을 때 발현된다고 본다(Khan et al., 2021; McGregor, Sheng, & Smith, 2005). 어떤 아동은 다른 아동에 비해 더 나은 어휘 능력을 갖추어 더 빨리 문법적으로 성장할 수 있기 때문에, 어휘의 성장과 크기는 생활연령보다도 문법적 정교함을 더 강력하게 결정할 수 있다(Thal, Bates, Zappia, & Oroz, 1996). 즉, 어휘의 빠른 성장으로 인해 정교한 문법적 표현이 가능해지며 이로 인해 이야기 능력도 향상될 수 있다(Khan et al., 2021). 또 다른 선행연구에서 어휘가 풍부하여 유창한 구어 표현을 하는 아동은 더 많은 단어를 포함한 구절을 산출한다는 것을 확인하였으며(Jen, Tseng, & Kuo, 2015), 3-6세의 336명의 아동을 대상으로 한 연구에서는 ‘어휘’가 ‘음운인식’이나 ‘문법’ 능력과 비교하여 이야기 능력 스펙트럼의 상(80th percentile), 중(50th percentile), 하(20th percentile) 지점 모두에서 아동의 이야기 능력에 가장 강력하고 일관되게 연관되어 있는 요인임을 확인하였다(Khan et al., 2021). 즉, 더 나은 표현어휘 능력을 지닌 아동들이 이야기 전달 능력이 좋게 나타난 것인데, 이는 어휘가 5-7세 아동의 이야기 구성 능력에 대해 일관되고 독특한 예측 인자라는 선행연구 결과와도 일맥상통한다(Heilmann, Miller, Nockerts, & Dunaway, 2010). 또한, 이야기 거시구조 수행(예: 등장인물, 갈등, 해결, 마음 상태에 대한 언급 포함)이 평균발화길이(mean length of utterance, MLU), 구문복잡성, 어휘다양도(number of different word, NDW)의 미시구조 측정과 유의한 상관이 있었지만 회귀분석에서는 NDW만이 이야기 거시구조의 고유 예측 변수라는 것을 발견하기도 하였다(Heilmann et al., 2010). 이러한 연구결과들을 통해 적어도 3-7세 연령대의 아동들은 주로 어휘 지식에 의존하여 이야기를 산출하는 경향이 있음을 시사한다. 3-7세 사이의 연령대에서 문법적 측정치나 구문복잡성과 같은 요소들은 이야기 거시구조에 큰 영향을 미칠 만큼 정교하지 않을 수 있음을 추론해볼 수 있다(Bitetti, Hammer, & López, 2020).
거시적인 구조로서의 이야기 단위의 텍스트 또는 이야기 맥락에서의 언어 제시를 통해 미시적 요소와 같은 특정 단어나 구조의 의미를 파악하는 것은 하향식 접근(top-down approach)에 해당된다. 일반적으로 이야기 능력은 단어와 텍스트의 이해를 용이하게 하는 개념적 지식을 지칭한다. Wellman 등(2011)은 3-6세 아동이 이야기 다시말하기 수행 시 거시적 구조를 사용하는 것은 추후 실제 단어를 해독하는 능력, 읽기 이해력 등과 관련이 있음을 확인하였다. Musiek와 Chermak (1995)은 아동에게 소리 내어 책을 읽어주면 어휘력이 향상된다고 제안했으며, Ninio (1980) 역시 아동에게 책 속 그림이나 텍스트에 대해 자세히 설명하면 어휘력과 읽기 능력이 향상된다는 사실을 발견하였다. 이처럼 이야기를 잘 구사한다는 것은 이야기에 대한 아동의 이해 능력뿐만 아니라 아동의 어휘, 구문, 화용적 숙달이 복합적으로 어우러져 있음을 나타낸다. 따라서 언어 능력의 평가는 단순한 어휘 평가에서 점차 아동의 이야기 능력과 같은 언어적으로 더 풍부한 측면을 포함하도록 확장되고 있다(Dickinson, McCabe, Anastasopoulos, Peisner-Feinberg, & Poe, 2003; Reese, Suggate, Long, & Schaughency, 2010). 이야기 기술은 상위 수준의 언어 기술을 나타내며, 상대적으로 어휘는 하위 수준의 언어 기술이라 볼 수 있다(Khan et al., 2021). 앞서 선행연구들을 통해 어휘의 개인차가 아동의 이야기 능력을 설명하는 데에 도움이 되며, 학령기 아동에게 어휘와 이야기 조직 능력 간 유의한 연관성이 존재한다는 것을 확인하였지만(Heilmann et al., 2010; Khan et al., 2021), 상위 수준의 이야기 능력을 통해 하위 수준의 어휘 능력까지 탐지해내는 데에 기여할 수 있는지 여부를 검증하는 연구는 드물다. 따라서 본 연구에서는 이야기 과제 수행의 다양한 측면(이해, 산출, 이야기 과제 수행 시의 시선추적변수)에서의 집단 간 차이를 확인하고, 최종적으로 거시적 측면에서의 이야기 변수들을 통해 미시적인 어휘상의 어려움(어휘발달지연)을 탐지해낼 수 있는지 탐색해보고자 하였다. 이에 따른 연구질문은 다음과 같다.
(1) 이야기 제시 양식(듣기, 듣기+읽기, 읽기)에 따른 이야기 이해 과제 수행의 집단 간 차이는 유의한가?
(2) 이야기 산출(구성, 회상) 조건에 따른 이야기 산출 과제 수행의 집단 간 차이는 유의한가?
(3) 이야기 이해 과제의 ‘읽기’ 포함 조건 수행 시 추출된 시선추적변수에 대한 집단 간 차이는 유의한가?
(4) 이야기 이해와 산출, 그리고 이야기 읽기 과제 수행 시의 시선추적변수들을 통해 표준화 어휘검사에 준하는 어휘발달지연을 판별해낼 수 있는가?
연구방법
연구대상
본 연구의 연구대상 아동들은 서울 소재의 초등학교 1-2학년에 재학중인 남녀 아동 총 123명(남 53명, 여 70명)을 대상으로 하였다. 연구대상 포함 기준은 다음과 같다. (1) 아동이 초등학교 1-2학년에 재학중이며, (2) K-BIT (Kaufman Brief Intelligence Test 2nd edition, K-BIT2; Moon, 2020)의 비언어성 지능 점수가 표준점수가 85점(-1 SD) 이상이며, (3) 정밀한 시선추적 데이터 수집을 위하여 안경을 착용하지 않은 아동이어야 하며, (4) 부모 및 교사로부터 아동의 시각 및 청각 등의 동반 장애가 보고되지 않은 아동을 대상으로 하였다. 그중, 수용 및 표현 어휘력 검사(Receptive and Expressive Vocabulary Test, REVT; Kim, Hong, Kim, Jang, & Lee, 2009)를 실시하였을 때 수용 어휘력 검사와 표현 어휘력 검사 결과가 모두 10%ile 이상인 아동 101명(남 42명, 여 59명)이 일반 아동 집단으로 분류되었으며, 수용 어휘력 검사 또는 표현 어휘력 검사 결과에서 둘 중 하나라도 10%ile 미만으로 나타난 아동 22명(남 11명, 여 11명)이 어휘발달지연 아동으로 분류되었다.
일반 아동 집단의 평균 월령은 88.20개월(SD=7.43), 어휘발달지연 아동 집단의 평균 월령은 91.36개월(SD=6.34)이었다. 일반 아동 집단의 비언어성 지능 평균은 116.08 (SD=17.29), 어휘발달지연 아동 집단의 비언어성 지능 평균은 106.73 (SD=12.97)이었다. 또한, 일반 아동 집단의 수용어휘 점수는 93.46 (SD=17.83), 어휘발달지연 아동 집단의 수용어휘 점수는 67.86 (SD=7.01), 일반 아동 집단의 표현어휘 점수는 90.90 (SD=15.48), 어휘발달지연 아동 집단의 표현어휘 점수는 74.05 (SD=10.72)이었다.
두 집단이 통계적으로 유의하게 다른지 확인하기 위해 독립표본 t검정(independent t-test)을 실시한 결과, 월령 및 비언어성 지능에 유의한 차이가 없었으며(p>.05), 수용어휘 점수(t=4.852, p<.001), 표현어휘 점수(t=6.604, p<.001)는 두 집단 간 차이가 유의하게 나타났다. 집단별 연구 대상자의 정보 및 이에 대한 기술통계량은 Table 1에 제시하였다.
연구과제
연구 참여 아동들은 수용 및 표현 어휘력 검사(REVT), 비언어성 지능 검사(K-BIT2)에 참여하였으며, 이야기 이해 과제(‘듣기’, ‘듣기+읽기’, ‘읽기’의 세 가지 제시 조건 각각에서 실시) 및 이야기 산출 과제(구성, 회상)에 참여하였다.
아동의 이야기 이해를 위해 사용된 이야기 과제는 초등학교 1-2학년을 위한 추천 도서 등을 통해 문학 지문 3개(a. 람보의 날개를 찾아서, b. 소원 원정대의 대모험, c. 삐죽빼죽 아기 선인장)와 비문학 지문 3개(a. 세계 물의 날, b. 못생긴 동물, c. 세금의 이모저모)로 구성하였다. 문학 지문의 길이는 람보의 날개를 찾아서(총 문장 수 103, 총 단어 수 804, 평균 문장 길이 7.81), 소원 원정대의 대모험(총 문장 수 88, 총 단어 수 806, 평균 문장 길이 9.16), 삐죽빼죽 아기 선인장(총 문장 수 93, 총 단어 수 801, 평균 문장 길이 8.61)이었으며, 비문학 지문의 길이는 세계 물의 날(총 문장 수 37, 총 단어 수 425, 평균 문장 길이 11.49), 못생긴 동물(총 문장 수 37, 총 단어 수 420, 평균 문장 길이 11.35), 세금의 이모저모(총 문장 수 37, 총 단어 수 414, 평균 문장 길이 11.19)이었다. 글의 난이도와 읽기 능력 수준을 객관적 수치로 보여주는 크리드(KReaD) 지수(Cho & Lee, 2020)를 산출한 결과, 문학 지문(KReaD 독해지수=978점, 2.78학년)과 비교하여 비문학 지문(KReaD 독해지수=1,229점, 5.29학년)의 난이도가 높은 것으로 확인되어 문학 지문의 총 문장 수(평균 94.7개)에 비해 비문학 지문의 총 문장 수(평균 37개)는 절반 이하로 적게 텍스트를 구성하였다.
이야기 이해 과제에서 아동들은 세 가지 각 조건에서 한 개씩, 총 세 가지 이야기를 들었으며, 이때 어떤 조건에서 어떤 이야기(문학 또는 비문학)가 할당되는지는 아동마다 다르게 무선할당하고, ‘듣기’->‘듣기+읽기’->‘읽기’의 순서로 제시하였다.
아동의 이야기 산출을 위한 과제는 Gagarina 등(2019)의 고양이 이야기(Cat story)를 사용하였으며, 해당 이야기는 약 3-10세 아동의 이야기 기술을 측정하기 위해 고안되었다. 이 이야기는 여섯 가지 그림 시퀀스를 가지고 있으며, 영어권 이외에도 약 26개 이상의 언어로도 번역되어 사용된다.
시선추적변수의 추출은 시선추적기가 부착된 컴퓨터를 사용한 이야기 이해 과제의 두 조건(‘듣기+읽기’ 조건, ‘읽기’ 조건)에서 이루어졌다. 각각의 이야기 과제 수행 이후 연구원이 이야기 평가 질문을 제시하고 아동이 답하는 방식으로 검사가 진행되었다.
이야기 이해 과제
본 연구의 이야기 이해 과제는 일련의 이야기를 1) ‘듣기’ 조건, 2) ‘듣기+읽기’ 조건, 3) ‘읽기’ 조건에 맞게 듣거나 읽은 후, 정보를 기억해내어 사실적 질문, 추론 ·평가적 질문에 답하는 방식으로 진행된다.
‘듣기’ 조건은 여러 컷의 그림을 보며 헤드폰으로 이야기를 듣게 되고, ‘듣기+읽기’ 조건은 페이지마다 할당된 줄글을 보며 헤드폰으로 이야기를 듣는 방식이며, ‘읽기’ 조건은 페이지를 넘겨가며 줄 글을 아동이 직접 읽게 된다. 아동은 세 가지 조건 각각에서 이야기를 한 개씩, 총 세 가지 이야기를 듣고 각 이야기에 대한 질문에 답하게 된다.
이야기 이해 평가 질문은 컴퓨터 또는 태블릿 화면을 통해 아동에게 글로 제시됨과 동시에 연구원이 이를 구두로 읽어준 뒤 아동의 답을 유도하는 방식으로 제시되었다. 모든 질문은 난이도 및 구성에 따라 2점 척도(0, 1점) 또는 3점 척도(0, 1, 2점)로 채점되었는 데, 1점 만점의 문항은 아동이 해당 질문에 대한 정확한 답을 말하였을 때 1점을 부여하였으며, 2점 만점의 문항은 아동이 해당 질문에 대한 정확한 답을 말하였을 때 2점을 부여, 해당 질문에 대해 일부의 정보만 말하였을 때 1점을 부여하였다. 전체 자료에 대한 채점을 마친 후, 박사과정 연구보조원 3인에 의해 전체 채점 결과가 재검사 되었으며, 전체 자료의 10%에 해당하는 자료에 대한 평가자 간 신뢰도는 r=.98로 높은 수치를 보였다. 각 이야기의 평가 질문의 개수는 문학 지문의 경우 사실적 질문 10문제, 추론 ·평가적 질문 9문제로 총 19문제였으며, 비문학 지문의 경우 사실적 질문 10문제, 추론 ·평가적 질문 8문제로 총 18문제였다. 이에 따라, 문학 지문 a에 대한 총점은 35점, b에 대한 총점은 33점, c에 대한 총점은 34점, 비문학 지문 a에 대한 총점은 32점, b에 대한 총점은 31점, c에 대한 총점은 32점이었다.
이야기 산출 과제
본 연구의 이야기 산출 과제는 아동의 이야기 산출을 평가하기 위해 고안된 Gagarina 등(2019) 연구 논문을 참고하여 개발되었다. 하위 구성요소는 크게 두 가지로 1) 이야기 구성(산출)과 2) 이야기 회상으로 나뉜다.
이야기 구성 과제는 아동에게 순서대로 배열된 카드 6장을 보여주며 아동에게 카드에 담긴 이야기를 최대한 자세하게 들려 달라고 말한 후, 아동이 그림을 보며 준비하는 동안 연구원은 그림을 보지 않고 기다린다. 연구원은 그림을 보지 않으므로 무슨 이야기인지다 알 수 있도록 잘 이야기해야 한다고 말한다. 아동이 그림을 보면서 이야기할 준비가 되었다는 신호를 보내면 이야기를 산출하도록 한다. 연구자는 아동의 이야기를 들으며 이야기 구성 검사지를 기록한다.
이야기 회상 과제는 앞서 아동이 이야기 구성(산출)과제를 마친 후 이번에는 연구자가 같은 카드로 이야기를 들려준다고 말한다. 연구자의 이야기를 듣고 아동은 이야기 다시 말하기를 수행한다. 연구자는 카드를 한 장씩 가리키며 스크립트를 읽어 나가며, 아동이 이야기에 주의집중 하는지 확인한다. 스크립트는 한 번만 들려주는 것을 원칙으로 하였다.
이야기 산출을 위해 사용된 ‘고양이 이야기’는 첫 부분인 ‘배경’에서 시간, 장소, 인물에 대한 정보가 제시되며, 세 가지 에피소드 각각에서 사건발생, 목적, 시도, 결과, 반응을 포함하여 이것에 대한 분석이 실시되었다. 이야기 산출과제의 산출은 연구자가 검사지를 보면서 아동이 각 요소에 대한 정확한 답을 말하였을 때 1점을 부여하였으며, 불완전하거나 답하지 못하는 경우 0점을 부여하였다. 아동의 이야기 산출을 위한 그림자극과 이야기 산출 과제 채점표를 Appendix 1과 2에 제시하였다.
이야기 이해 과제의 ‘읽기’ 포함 조건에서의 시선추적변수의 추출
시선추적변수의 추출을 위해 이야기 이해 과제의 ‘듣기+읽기’ 조건에서는 아동이 시선추적기가 부착된 모니터의 텍스트를 읽음과 동시에 해당 내용을 음성으로도 들을 수 있으며, ‘읽기’ 조건에서는 시선추적기가 부착된 노트북 모니터의 텍스트를 읽지만 해당 내용을 음성으로 듣지 않는다. ‘듣기+읽기’ 조건에서 이야기 지문이 실린 각 페이지는 음성파일의 재생이 끝나면 자동으로 페이지 전환이 되며, ‘읽기’ 조건에서는 아동이 각 페이지의 지문을 다 읽은 것이 확인되면 연구자가 다음 페이지로 넘겨준다. 이때, ‘듣기+읽기’ 조건에서 연구에 참여하는 아동들에게 동일한 음성파일이 제공되지만, 모든 아동들이 음성파일을 듣는 전 과정에서 실제 모니터에 100% 시선을 고정하는 것은 아니므로 ‘전체 시선 고정 시간’은 연구 참여 아동마다 다르게 나타난다. 각 조건의 과제 수행 시 실시간으로 시선추적변수들이 데이터로 저장된다.
텍스트는 거치형 시선추적기(REDn Eye Scientific, SMI)가 부착된 24인치 모니터(Dell, P2418Hz)를 통해 제시되었으며, ‘듣기+읽기’ 조건에서는 아동용 헤드셋을 통해 음성을 제시하였다. 해당 과제 수행 시 소음이 최소화된 공간에서 실시되었으며, 연구원이 아동의 옆에 앉아 아동의 시선이 시선추적기의 작동 범위 내에 감지될 수 있도록 착석 상태를 잘 유지하도록 하였다. 아동이 이야기 과제에 참여하는 동안 아동의 시선추적 데이터는 데이터 분석 소프트웨어(BeGaze ver3.5)가 설치된 노트북에 실시간으로 저장되었다. 시선추적변수 추출의 정확도를 높이기 위해 과제가 본격적으로 실시되기 전, 모니터 상의 5개 지점(좌측 상단, 우측 상단, 정중앙, 좌측 하단, 우측 하단)에 대한 시점 조정(calibration) 절차를 거쳤으며, 시점 조정 값이 0.6° 이내일 때 과제가 시작될 수 있도록 하였다.
시선추적변수는 1) 과제 수행 시 아동이 화면에 시선을 고정한 총 시간인 ‘전체 시선 고정 시간(Total fixation duration)’, 2) 본 과제에서의 관심 영역인 ‘각 페이지에서 제시되는 글자(또는 문장)에 시선을 고정한 총 시간(ms)인 ‘관심 영역 시선 고정 시간(AOI fixation duration)’, 3) 과제 수행 시 아동의 시선이 움직인 길이의 합인 ‘시선 경로 길이(Scanpath length)’의 세 가지로 추출되었다. ‘관심 영역(AOI)’의 설정의 예시는 Appendix 3에 제시하였다.
자료분석 및 결과처리
이야기 이해 및 산출 조건에 따른 집단 간 차이 및 시선추적변수에 대한 집단 간 차이가 유의한지 살펴보기 위해 독립표본 t검정(independent t-test)이 실시되었으며, 이야기 과제 수행 변수들을 통해 표준화 어휘 검사에 준하는 어휘발달지연을 판별해낼 수 있는지 확인하기 위해 동시적 입력방식의 판별분석(discriminant analysis) 및 ROC (Receiver Operator Characteristic) 분석을 실시하였다. 연구자료에 대한 통계분석 및 결과처리에는 SPSS ver. 25 (SPSS Inc, Chicago, IL, USA)가 사용되었다.
연구결과
이야기 제시 양식(듣기, 듣기+읽기, 읽기)에 따른 집단 간 이야기 이해 과제 수행 능력의 차이
이야기 이해 조건에 따라 일반 아동 및 어휘발달지연 집단 아동 간 수행 능력의 차이가 나타나는지 확인하기 위해 독립표본 t검정(independent t-test)을 실시하였다. 그 결과, 두 집단의 이야기 이해 과제 수행 시 ‘듣기+읽기’ 조건에서 차이가 통계적으로 유의하였으며(t=3.380, p<.001), 일반 아동 집단의 점수는 59.11점(SD=23.73)으로 어휘발달지연 아동 집단의 점수(M=39.97, SD=25.65)에 비해 유의하게 높았다. 그러나, ‘듣기’ 및 ‘읽기’ 단독 조건에서의 집단 간 차이는 유의하지 않았다(p>.05). 이에 대한 세부적인 내용을 Table 2에 제시하였다.
이야기 산출(구성, 회상) 조건에 따른 집단 간 이야기 산출 과제 수행 능력의 차이
이야기 산출을 위해 사용된 ‘고양이 이야기’는 첫 부분인 ‘배경’에서 시간, 장소, 인물에 대한 정보가 제시되며, 세 가지 에피소드 각각에서 사건발생, 목적, 시도, 결과, 반응을 포함되어 이러한 이야기 문법에 따른 분석이 실시되었다. 이야기 산출 조건에 따라 일반 아동 및 어휘발달지연 집단 아동 간 수행 능력의 차이가 나타나는지 확인하기 위해 독립표본 t검정(independent t-test)을 실시하였다. 그 결과, 두 집단의 이야기 산출 과제에서 ‘구성’ 조건의 수행의 차이가 통계적으로 유의하게 나타났으며(t=3.844, p<.001), 일반 아동 집단의 이야기 산출 점수(M=50.99, SD=10.00)는 어휘발달지연 아동 집단의 이야기 산출 점수(M=41.36, SD=13.29)에 비해 유의하게 높았다. 그러나, ‘회상’ 조건에서의 집단 간 차이는 유의하지 않았다(p>.05). 이에 대한 세부적인 내용을 Table 3에 제시하였다.
이야기 읽기 과제 수행 시 시선추적변수에 대한 집단 간 차이
‘듣기+읽기’ 및 ‘읽기’ 조건 각각에서의 이야기 이해 과제 수행 시 추출한 세 가지 시선추적변수에 대한 집단 간 차이가 유의한지 확인하기 위해 독립표본 t검정(independent t-test)을 실시하였다. 그 결과, ‘듣기+읽기’ 조건의 ‘전체 시선 고정 시간(Total Fixation duration: TFD)’에서만 두 집단 간 유의한 차이가 있었으며(t=2.523, p=.039), 일반 아동 집단의 ‘듣기+읽기’ 조건에서의 TFD은 281,341 ms (SD=105,618)로 어휘발달지연 아동 집단의 TFD (M=223,261, SD=80,334)에 비해 유의하게 길었다. 그 외 나머지 변수에서는 두 집단 간 유의한 차이가 나타나지 않았다(p>.05). 이에 대한 세부적인 내용을 Table 4에 제시하였다.
이야기 과제 변수를 통한 어휘발달지연 판별 효용성 탐색
이야기 이해(‘듣기’, ‘듣기+읽기’, ‘읽기’), 산출(구성, 회상), 그리고 읽기 과제의 두 가지 조건인 ‘듣기+읽기’, ‘읽기’ 각 조건에서의 시선 추적변수(1. ‘전체 시선 고정 시간(Total fixation duration)’, 2. ‘관심 영역 시선 고정 시간(AOI fixation duration)’, 3. ‘시선 경로 길이(Scanpath length)’)를 통한 어휘발달지연 판별 효용성을 탐색하고자 판별분석(Discriminant analysis)을 실시하였다. 그 결과, 일반 아동을 일반 아동으로 판별하는 특이도(specificity)는 80.0%, 어휘발달지연 아동을 어휘발달지연 아동으로 판별하는 민감도(sensitivity)는 76.9%로 원 집단 케이스 중 총 79.6%가 올바르게 분류될 수 있는 것으로 나타났다(χ2 =20.920, p=.034). 이에 대한 세부 결과는 Table 5와 같다.
위에서 실시된 판별분석 결과를 토대로 이야기 과제의 어휘발달지연을 가장 잘 변별하는 최적 절단점을 확인하기 위해 ROC (Receiver Operator Characteristic) 분석을 실시하였다. 판별의 효율성을 위해 요구되는 변수를 최소화하고자 이야기 이해, 이야기 산출, 이야기 읽기(시선추적) 각각에서 AUC (Area Under the Curve) 면적이 가장 넓은 조건을 확인한 결과, 이야기 이해 과제에서는 ‘듣기+읽기(L+R)’ 조건이 .722 (p=.005), 이야기 산출 과제에서는 ‘구성(structure)’ 조건이 .674 (p=.027), 이야기 읽기(시선추적) 과제에서는 ‘듣기+읽기(L+R)’ 조건의 ‘전체 시선 고정 시간(Total fixation duration)’이 .689 (p=.017)로 나타났다. 절단점 추정 지표로는 Youden Index를 활용하였으며 이를 통해 이야기 이해 과제의 ‘듣기+읽기’ 조건(Comprehension_L+R)의 절단점을 42.5점, 이야기 산출 과제의 ‘구성’ 조건(Production_S)의 절단점을 22.1점, 이야기 읽기 과제의 ‘듣기+읽기’ 조건에서의 시선추적변수인 전체 시선 고정 시간(Eyetracking_L+R_TFD)의 절단점을 221,095 (ms)로 채택하였다. 이와 같은 조합을 통해 타당하게 판별된 아동은 84.6%, 그렇지 않은 아동은 15.4%로 나타났다. 이에 대한 ROC curve는 Figure 1에 제시하였다.
논의 및 결론
본 연구에서는 1) 시선추적변수를 포함하여 이야기 이해 및 산출 과제 수행의 다양한 측면에서의 집단 간 차이를 확인하고, 2) 이야기 과제 수행 변수들을 통해 표준화 어휘 검사에 준하는 어휘발달지연 판별이 가능한지 확인해보고자 하였다. 이에 대한 논의는 다음과 같다.
이야기 이해 과제 수행에서의 세 가지 조건(듣기, 듣기+읽기, 읽기)에 따른 집단 간 차이를 확인한 결과, ‘듣기+읽기’ 조건에서 어휘발달지연 아동이 또래 일반 아동에 비해 유의하게 낮은 점수를 받았다. 이야기 텍스트를 읽는 과정에서의 음성 제시는 아동들의 주의집중을 유도하는 데 유용할 수 있다는 선행연구 결과에 따라 (Carney & Levins, 2002; Cohn, 2016; Krejtz et al., 2012; Seger et al., 2019), ‘듣기+읽기’ 조건에서의 수행 향상을 예상했으나, 또래 일반 아동 집단에 비해 어휘발달지연 아동 집단의 유의한 수행 저하를 확인하였다. 이는 대상자의 연령 및 특성에 따라 제시되는 시청각적 자극 형태에 따른 이야기 이해 과제 수행이 달라질 수 있음을 언급한 선행연구의 언급과 일치한다(Mills, 2015). 어휘발달지연 아동 집단의 ‘듣기+읽기’ 조건에서의 수행 저하는 다중감각양식에서의 정보 제시가 이 아동들의 시각적 주의를 오히려 떨어뜨릴 수 있음을 시사한다(Bucci, 2021; Prado, Dubois, & Valdois, 2007). 초기 학령기인 초등 1-2학년의 문자해독 능력이 아직 자동화되기 이전임을 감안할 때(Storch & Whitehurst, 2002), 또래 일반 아동 집단에 비해 어휘 발달이 지연된 아동 집단에게 ‘들으면서 읽는(reading while listening)’ 과정은 읽기 유창성을 증진시키는 중재 시 유용하게 사용될 수 있다고 보고되기도 하였다(Brown, Waring, & Donkaewbua, 2008). 그러나, 음독에서 묵독으로의 전환기에 놓인 초기 학령기 아동의 특성상 아직 서투른 ‘음독’ 단계에 머무르고 있는 아동들에게는 추가적 음성이 오히려 처리 부담을 높일 수 있으며(Nation, Marshall, & Altmann, 2003), 읽기 자동화단계를 거쳐 ‘묵독’으로 완전하게 전환되는 경우 추가적 음성 정보의 제시가 유용하게 받아들여질 수 있음을 시사한다.
이야기 산출 과제 수행에서는 두 가지 조건(구성, 회상)에 따른 집단 간 차이를 확인한 결과, ‘구성’ 조건에서 유의한 차이를 보였다. 연구자에 의해 언어적 정보가 직접적으로 먼저 제시되어 해당 내용을 시간적, 인과적으로 명확하게 기억해내는 것이 요구되는 이야기 ‘회상’은 ‘언어’ 능력에 비해 상대적으로 ‘기억’ 능력의 기여가 더 관건일 수도 있다. 상대적으로 이야기를 구성하는 능력은 시각적으로 제시되는 그림만을 보고 아동이 직접 이야기의 핵심을 찾아내고 능동적으로 이야기를 생성해내야 하므로 더 적은 어휘를 지니는 어휘발달지연 아동들이 이야기 ‘구성’ 과제에서 더욱 낮은 구문 복잡성의 이야기를 산출하게 됨을 추론해볼 수 있다(Bishop & Donlan, 2005; Manhardt & Rescorla, 2002; Mills, 2015).
이야기 이해 과제의 ‘읽기’ 포함 조건(‘듣기+읽기’, ‘읽기’)에서의 시선추적변수에서 집단 간 차이를 확인한 결과, ‘듣기+읽기’ 조건의 ‘전체 시선 고정 시간(Total Fixation Duration, TFD)’에서 유의한 차이를 보였다. 즉, ‘듣기+읽기’ 조건에서 본 연구의 대상 아동인 1-2학년 일반 아동 집단의 시선 고정 시간이 어휘발달지연 아동에 비해 유의하게 길게 나타난 것이다. 선행연구에 따르면, 단순언어장애 아동은 이야기 이해 과제 수행 시 의미적으로 관련된 영역에 시선을 고정하는 횟수가 더 적을 뿐만 아니라(Andreu et al., 2011), 부족한 언어 능력을 보일수록 텍스트에 시선을 두고 주의집중하는 시간이 유의하게 더 적은 것으로 나타난다(Roy-Charland et al., 2007). 개인의 읽기 능력이 발달함에 따라 인지, 시각적 처리 및 안구운동 과정 간의 상호작용에도 변화가 나타날 수 있는데 읽기 실력이 향상될수록 텍스트에 더 오래 주의를 기울일 수 있는 것이다(Roy-Charland et al., 2007). 그러나, 국내에서 진행된 초등학교 2-4학년 단순언어장애 아동 및 또래 일반 아동 대상의 읽기 처리 과정을 분석한 결과에서, 단순언어장애 아동의 읽기 처리 과정 시의 모든 시선추적변수(예: 읽기 시간, 시선 고정 횟수, 평균 시선 고정 시간, 총 시선 고정 시간 등)에서 일반 아동에 비해 더 큰 수치로 나타나 상반된 결과를 보였다(Kang & Yim, 2018). 본 연구의 대상 아동이 초등학교 저학년(1-2학년)에 해당하는 만큼, 중학년(3-4학년)과는 다른 양상을 보일 수 있는데 이는 Chall (1996)의 읽기의 발달 단계에 따르면 초등학교 저학년에 해당되는 만 6-7세에는 초기 읽기 및 해독(decoding)에 집중되지만, 초등학교 중학년으로 넘어가는 만 7-8세에는 읽기의 속도가 더욱 빨라져 읽기의 자동화가 확립되므로 이에 도달하지 못한 단순언어장애 및 언어지연 아동 집단의 경우 시선 고정 시간이 더욱 길게 나타날 수 있는 것이다. 읽기의 발달 단계상에서 초등 1-2학년은 어휘발달지연 유무를 떠나 해독 기술의 자동화가 확립되기 이전에 속하므로 이러한 경우에는 텍스트에 얼마나 주의를 기울이는지, 텍스트에 오래 시선을 고정하여 충분히 읽기에 시간을 들이는 것이 이야기 이해 과제를 수행하는 데에 더욱 중요할 수 있다.
거시적 측면에서의 이야기 과제 수행 변수들을 통해 미시적 차원의 어휘발달지연을 잘 판별해낼 수 있는지 살펴본 결과, 표준화 어휘 검사를 기반으로 한 원 집단 케이스 중 총 79.6%가 이야기 과제 수행 변수들로 올바르게 분류될 수 있는 것으로 나타났다. Plante와 Vance (1994)의 연구에 따르면, 민감도와 특이도가 80-89%일 때 ‘타당한(fair) 판별’로 해석할 수 있다고 제시함에 따라 이에 근거하여 본 연구결과에서의 특이도(specificity) 80.0%와 전체 판별력 79.6% (약 80%)는 ‘타당한(fair) 판별’에 해당하거나 근접하는 것으로 볼 수 있다. 하향식 접근방식(Top-down approach)에 의하면, 해독 능력이 뛰어난 아동은 새로운 단어를 더 잘 접하여 어휘를 더 풍부하게 만들 수 있고, 초기 아동기에 이야기를 많이 듣고 접하는 아동의 어휘력은 향상된다(Musiek & Chermak, 1994; Swanborn & de Glopper, 2002). 또, ‘이야기’라는 거시적인 맥락 속에 어휘를 포함한 문법, 구문, 화용적 숙달이 복합적으로 내재되어 있으므로(Dickinson et al., 2003; Reese et al., 2010), 언어 능력의 평가 역시 단순한 세부요소만을 평가해내는 것으로부터 벗어나 보다 포괄적이고 광범위한 맥락에서 다양한 언어 하위요소들을 탐지해내는 방안으로 나아가는 것은 의미 있는 작업이나 이러한 가능성을 탐색해보는 연구는 아직 미미한 실정이다. 본 연구의 이야기 과제의 어휘발달지연 판단의 유용성을 판단하기 위한 ROC 분석을 통해서도 이야기 ‘듣기+읽기’ 조건의 이해 점수, 이야기 ‘구성’ 조건의 산출 점수, 그리고 시선추적변수에서 ‘듣기+읽기’ 조건의 전체 시선 고정 시간의 조합으로 84.6%의 아동이 타당하게 판별되는 것으로 나타나 이야기 과제들이 어휘발달지연 판별을 위해 유용한 도구로 활용될 수 있는 가능성을 탐색한 데에 의의가 있다. 후속연구를 위한 제안으로는 본 연구가 초등학교 1-2학년을 대상으로 한 만큼, 초등 전 학년(1-6학년)으로 연령대를 확장하거나, 학령전기의 읽기 전 단계(pre-reading)까지 포함한다면 더욱 포괄적인 적용이 가능할 것으로 보인다.