학령기 고기능 자폐스펙트럼장애 아동의 운율 및 의미 일치성에 따른 정서인식 특성
Affective Perception Characteristics in School-aged Children with High-functioning Autism Spectrum Disorder according to Prosody and Semantic Consistency
Article information
Abstract
배경 및 목적
운율을 통한 정서지각은 사회적 의사소통에서 중요한 요소이지만, 자폐스펙트럼장애 아동은 다양한 비언어적 단서로 타인의 정서를 인식하는데 어려움을 겪는다. 본 연구에서는 학령기 고기능 자폐스펙트럼장애 아동이 타인의 정서를 인식하기 위해 문장의 의미단서와 운율단서 중 어떤 정보에 의지하는지 살펴보고자 하였다. 또한 정서단서의 유무조건에 따라 정서인식이 어떠한 차이를 보이는지 확인하고자 하였다.
방법
초등학교에 재학중인 고기능 자폐스펙트럼장애 아동 7명과 생활연령을 일치시킨 비장애 아동 7명이 본 연구에 참여하였다. 두 집단에게 문장의 의미단서와 운율이 일치하는 일치조건 20개, 의미단서와 운율이 일치하지 않는 불일치 조건 20개씩 총 40개 문장 과제를 실시하였고, 아동 반응의 정확도와 시간을 측정하였다.
결과
고기능 자페스펙트럼장애 아동과 비장애 아동은 일치 조건과 불일치 조건에서 집단 간 정확도에 차이를 보이지 않았다. 반면, 간접 단서-불일치 조건을 제외한 나머지 조건에서 고기능 자폐스펙트럼장애 아동은 일반 아동에 비해 느린 정서인식 반응시간을 보인 것으로 나타났다.
논의 및 결론
본 연구에서 고기능 자폐스펙트럼장애 아동이 보인 느린 반응시간은 교차감각의 통합과 추론처리과정 결함의 관점에서 설명될 수 있다. 그러나 다양한 정서 및 집단과의 비교와 더 많은 수의 대상자가 포함된 후속연구가 필요하다.
Trans Abstract
Objectives
The perception of emotions through prosody is crucial to social communication. However, children with Autism Spectrum Disorder (ASD) often struggle to recognize others’ emotions based on various non-verbal cues. This study aims to investigate whether school-aged children with high-functioning ASD rely more on semantic cues or prosodic cues when perceiving others’ emotions. Additionally, the study examines how emotion recognition differs depending on the consistency of emotional cues.
Methods
Seven school-aged children with high-functioning ASD and seven typically developing school-aged children matched by chronological age participated in this study. Both groups were presented with 40 sentence tasks, consisting of 20 sentences where semantic and prosodic cues were consistent (consistency condition) and 20 inconsistent sentences (inconsistency condition). The accuracy and response time of the children’s affective perception based on prosody were measured.
Results
There was no significant difference in accuracy between the groups in both consistent and inconsistent conditions. However, children with high-functioning ASD exhibited slower affective perception response times compared to typically developing children in all conditions except for the indirect cue-inconsistency condition.
Conclusion
The slower response times observed in children with high-functioning ASD may be explained by the multimodal binding and inferential processing deficit. Further research with a larger sample size and more diverse groups is necessary to validate these findings.
청자로서 우리는 말이 전하는 언어의 문자적 의미보다 목소리나 표정의 미묘한 변화, 몸짓의 모양이나 방향 같은 비언어적 특질을 통해 상대가 전달하고자 하는 이면의 의도를 파악하는 경우가 많다. 그래서 비언어적이고 초분절적인 요소가 적절히 사용되는 경우 말이 이해되지 않는 상황에서 조차 소통이 가능해지기도 한다. 대표적인 초분절적 요소인 운율(prosody)은 강세나 높낮이를 변화하여 의문문과 평서문을 구분하는 등 구문정보를 전달하는 역할을 하는 문법적 운율(grammatical prosody), 특정 정보에 대해 화자의 의도를 전달하거나 청자의 주의를 끌기 위해 문장 내 단어를 선택적으로 강조하는 것과 같은 화용적 운율(pragmatic prosody), 대화 상대나 상황에 따라 변화하는 음역대나 높낮이, 발화 스타일 등을 의미하는 정서적 운율(affective prosody)의 세가지로 구분된다(Shriberg et al., 2001). 그 중 적절한 정서적 운율의 사용은 청자로 하여금 화자의 정서 상태와 의도를 명확하게 이해하고 공감하도록 돕기 때문에 사회적 의사소통에서 필수적인 기술로 여겨지고 있다(Hubbard, Faso, Assmann, & Sasson, 2017; Singh & Harrow, 2014; Wang & Tsao, 2015; Zhang et al., 2022). 예를 들어, 부모가 “아이가 차에 타고 있어요.”라고 말하는 상황이 안전한가 혹은 위험한가에 따라 매우 다른 강도, 높낮이, 소리나 단어의 전달 속도 등이 발화에 덧입혀질 것이기 때문이다(Scherer, 2003).
전형적으로 발달하는 아동(typically developing children, TD)은 신생아 시기부터 운율에 민감하게 반응하며, 6개월이면 정서적 운율을 구분한다고 한다(Grossman, Bemis, Skwerer, & Flusberg, 2010). 그리고 나이가 들면서 반어(irony)나 빈정거림(sarcasm)과 같이 화자의 의도가 말의 문자적 내용이나 명시적 메시지와 다른 경우 초분절적 운율과 같은 미묘한 비언어적 요소를 인지하여 이를 파악할 수 있게 된다. Morton과 Trehub (2001)는 행복한 내용을 슬픈 운율로 제시하는 경우와 같이 말의 내용과 운율이 다른 과제를 사용하여 정서를 지각하기 위해 취하는 단서가 연령에 따라 달라지는지 연구하였다. 그 결과 4세에서 8세 아동은 67-85%가 말의 내용에 근거하여 정서 판단을 하였지만 10세 아동은 55%, 성인은 100%가 운율에 근거하여 정서를 판단하였음을 확인하였다. 정서적 정보를 지각하고 전달하는 데 있어 일반적으로 말의 문자적 내용과 운율은 상호 보완적이지만, 연령(Morton & Trehub, 2001), 성별(Thompson & Voyer, 2014), 지능(Harms, Martin, & Willac, 2010) 혹은 집단(Martzoukou, Papadopoulou, & Kosmidis, 2017; Scheerer, Shafai, Stevenson, & Iarocci, 2020) 등의 변수에 영향을 받기도 한다. 선행연구를 보면 정서 지각이나 표현을 하는 데 있어 전체 지능지수뿐 아니라 언어적 및 비언어적 지능지수에 따라서도 차이가 있으며(Jones et al., 2011), 특히 장애 집단의 경우 연령이나 지능에 따른 발달적 변화에서 비장애 집단에 비해 느리거나 다른 수행을 보이기도 했다(Globerson, Amir, Kishon-Rabin, & Golan, 2015). 이러한 차이는 자폐스펙트럼장애(Autism spectrum disorder, ASD) 대상자들에게서 두드러지게 관찰되는 증상의 하나이기도 한데, 연구자들은 이들이 소통에서 정서적 음성(vocal emotion)이 갖는 정확한 역할에 관해 완전히 이해하고 있지 못하기 때문일 것이라고 밝히고 있다(Lindner & Rosen, 2006).
ASD는 사회적 의사소통 및 사회적 상호작용의 지속적인 결함, 특히 사회적 의사소통을 위해 눈 마주침, 몸짓, 자세 운율, 표정 등을 통합하는 능력의 어려움이 핵심 증상의 하나인 발달장애이다(DSM-5; American Psychiatric Association, 2013). ‘자폐증 진단 관찰 스케줄(ADOS-2)’(Lord et al., 2012)에도 억양, 크기, 리듬, 속도와 같은 말의 이상에 관한 채점 항목이 있고, 그 예로 ‘불규칙한 리듬’ 및 ‘이상한 억양 또는 부적절한 고저와 강세’ 등이 포함되어 있다. 이렇듯 진단 및 검사 항목에 정상적인 범주에서 벗어난 비언어적 기술의 ‘사용’이 ASD의 특징으로 언급되지만(Hubbard et al., 2017), 선행연구들은 특정 맥락에서 이러한 단서를 ‘인식’하는 것의 어려움에 대하여도 주목하고 있다(Martzoukou et al., 2017; Scheerer et al., 2020; Wang & Tsao, 2015).
Scheerer 등(2020)은 정서적 운율을 전달하는 음성과 글단어 매칭 과제에서 ASD와 TD 아동 집단 간에 차이가 없었으나, 정서적 음성을 표정과 매칭하는 과제에서는 ASD 아동이 유의하게 부정확한 수행을 보여 사회적 맥락에서 운율정보를 지각하고 통합하는 데에 더 어려움이 있음을 확인하였다. 또한 화자의 정서적 운율을 듣고 ‘걱정되는, 후회하는’ 등과 같은 정서로 분류하는 과제에서도 고기능 ASD 집단은 TD에 비해 낮은 수행 수준을 보였다(Golan, Baron-Cohen, Hill, & Rutherford, 2007). 반면 정서 의미 및 운율 단서 정보가 문장에 많이 포함된 과제이거나(Kjelgaard & Tager-Flusberg, 2013), 사용된 정서의 수가 2-3개로 적거나 뚜렷한 정서를 사용하면서 단어수준에서 판단하게 하는 경우, 혹은 의미단서와 정서 운율이 일치한 과제의 경우에는 ASD와 TD 집단 간 유의한 차이가 나타나지 않았다(Le Sourn-Bissaoui, Aguert, Girard, Chevreuil, & Laval, 2013; Singh & Harrow, 2014). Kim, Kim과 Lee (2013)도 정서적 운율 만을 지각하거나 단서 맥락과 운율이 일치하는 과제에서는 고기능 ASD와 TD 아동 집단이 유의한 차이를 보이지 않았으나, 맥락의 정서와 운율이 불일치하는 과제나 표정 맥락과 같은 특정 맥락에서는 ASD 아동이 낮은 정확도를 보였다고 보고하였다. 이러한 선행연구 결과는 사회적 혹은 의미적 맥락이 모호하거나 전달되는 상황 정보의 복잡성이 커질수록 ASD 아동이 다양한 정서적 단서를 인식하고, 경험과 통합하며, 정확히 해석하고 반응하는데 어려움을 겪을 가능성도 높아짐을 시사한다.
Singh와 Harrow (2014)는 단어수준의 과제(Wurm, Vakoch, & Seaman, 2004)가 대화와 같은 자연스러운 언어처리과정을 반영하지 못하므로 문장 수준의 과제로 의미단서와 정서 운율 간의 통합적 처리를 검사할 필요가 있으며, 두 단서의 조합을 조정하는 일치성 패러다임(congruence paradigm)을 활용하는 것이 ASD 아동의 정서적 운율지각 탐색에 적합한 과제라고 언급하였다. 일치성 패러다임 과제에서는 문장이 제시하는 의미단서와 정서적 운율이 일치하거나 불일치하도록 문항을 조정하는데 이는 ‘불일치’ 맥락이 문자적 의미로는 전달되지 않거나, 문자적 의미와 상반되는 화자의 정서상태를 지각하는 청자의 사회적 민감도를 반영할 수 있기 때문이었다(Nygaard & Queen, 2008). 이 패러다임 과제는 ASD의 정서 운율 지각에 관한 선행연구들에서 다수 활용되었는데(Kjelgaard & Tager-Flusberg, 2013; Le Sourn-Bissaoui et al., 2013; Singh & Harrow, 2014), 여러 연구에서 일치조건에서는 ASD와 TD 집단이 유사한 반응 정확도를 보이지만 운율과 의미단서가 불일치할 때는 ASD 아동이 더 어려움을 보였다. 그러나 여전히 과제의 길이, 정서의 수나 유형, 의미단서의 모호성에 따라 그 결과에 차이가 있어 꾸준한 후속연구로 유의미한 정보가 축적될 필요가 있다. 따라서 본 연구에서는 일치성 패러다임을 적용한 정서인식 과제를 제작하되 의미 단서의 모호성(직, 간접 단서)을 조정하고, 반응의 정확도와 함께 과제에 대한 주의력이나 통합적이고 인지적인 처리과정을 암시하는 종속변인, 즉 반응시간을 함께 살펴보고자 하였다. 연구문제는 아래와 같다.
첫째, HF-ASD와 TD 아동이 정서 단서의 유무 조건(직접 및 간접 단서)과 자극 제시 조건(일치, 불일치)에 따른 정서인식 정확도와 반응시간에서 보인 집단 간 차이는 어떠 한가?
둘째, HF-ASD와 TD 아동 집단이 각각 정서 단서의 유무 조건와 자극 제시 조건에 따라 정서인식 정확도와 반응시간에서 보인 집단 내 차이는 어떠 한가?
셋째, HF-ASD 아동 집단 내 정서인식 정확도와 반응시간 별로 정서 단서의 유무 조건과 자극 제시 조건에서 보인 변인 간 상관관계는 어떠 한가?
연구방법
연구대상
본 연구의 대상은 서울·경기·광주 ·전남 지역에 거주하는 초등 1학년에서 6학년 고기능 자폐스펙트럼장애 아동(HF-ASD 아동) 7명과 학년을 일치시킨 비장애 아동(TD 아동) 7명으로 총 14명이었다. 연구대상 아동은 집단별로 1학년 2명, 2학년 1명, 3학년 1명, 5학년 1명, 6학년 3명으로 4학년을 제외한 나머지 학년이 모두 포함되었다.
HF-ASD 아동 선정 기준은 1) 소아정신과 전문의에게 ASD 진단을 받은 아동으로, 2) 운동 및 신경, 시각 및 청각 등의 감각장애가 없으며, 3) 글자 해독에 어려움이 없는 아동이었다. 또한 4) 한국 비언어성 지능검사-2 (Korea-Comprehensive Test of Nonverbal Intelligence-2nd Edition; Park, 2014) 결과, 지능지수 80 이상에 해당하고(Lee, Yoon, & Shin, 2019), 5) 수용 ·표현어휘력 검사(Receptive & Expressive Vocabulary Test, REVT; Kim, Hong, Kim, Jang, & Lee, 2009)의 수용어휘력 등가연령이 7세 이상에 해당하는 아동으로 선정하였다.
TD 아동 선정 기준은 1) 보호자에 의해 언어 및 인지 능력이 정상으로 보고된 아동으로, 2) 운동 및 신경, 시각 및 청각 등의 감각
장애가 없고, 3) 글자 해독에 어려움이 없는 아동이었으며, 4) K-CTONI-2 (Park, 2014)의 비언어성 지능지수가 80 이상에 해당하고, 5) 수용 ·표현어휘력 검사(Kim et al., 2009)의 수용어휘력 검사 결과 등가연령이 7세 이상에 해당하는 아동으로 선정하였다.
두 집단은 생활연령(t=.158, p=.877)과, 수용어휘 등가연령(t=-.970, p=.351)에서 통계적으로 유의한 차이를 보이지 않았으나, 비언어성 지능에서는 집단 간 차이가 유의한 것으로 나타났다(t=-3.210, p<.01) (Table 1).
연구과제
정서인식 과제 개발 절차
본 연구에서 사용한 연구과제는 정서인식 과제로서 사전에 음성으로 녹음된 문장을 듣고 해당 정서를 판단하도록 구성된 과제이다. 선행연구에서 사용한 일치성 패러다임 과제에 기반하여 문장의 직·간접적 의미단서와 운율이 일치하는 정서인식 과제와 단서와 운율이 불일치하는 정서인식 과제의 두 가지로 제작하였다(Kjelgaard & Tager-Flusberg, 2013; Le Sourn-Bissaoui et al., 2013; Singh & Harrow, 2014).
먼저, 연구자는 2가지 대표 정서(행복, 슬픔)와 2가지 단서(직접 단서: 정서 단어가 문장에 직접적으로 포함, 간접 단서: 정서 단어가 문장에 포함되지 않고 맥락으로 제시)를 적용하여, ‘행복-간접 단서’, ‘행복-직접 단서’, ‘슬픔-간접 단서’, ‘슬픔-직접 단서’의 4가지 범주를 구성하였으며 범주별로 10문장씩 총 40문장을 1차로 제작하였다. ‘행복’으로 대표되는 정서단어에는 ‘기뻐요, 신나요, 즐거워요’가, ‘슬픔’으로 대표되는 정서단어에는 ‘슬퍼요, 우울해요, 속상해요’가 다양하게 포함되었다. ‘행복-직접 단서’ 범주 문장의 예는 ‘친구한테 선물을 받아서 기뻐요’이고, ‘행복-간접 단서’ 문장의 예는 ‘기뻐요’와 같은 정서단어가 없는 ‘선생님한테 칭찬을 받았어요’ 등이다.
문장에 포함된 모든 어휘는 ‘발달장애학생을 위한 교육용 어휘’(Kwon, Song, & Jeon, 2017)를 참고하여 선정하였다. 또한 초등 1-2학년 교과서의 문장 길이가 대부분 5어절 이하로 구성되고(Kwon, Seo, & Jeon, 2017), 정서인식에 관한 대부분의 선행연구가 3어절 길이의 문장을 사용한 점(Kang, Hwang, & Jeong, 2015)을 고려하여 본 연구에서도 과제에 사용한 문장의 길이를 3-5어절로 제한하였다. 그 후 초등학생 15명과 언어치료학 전공 대학원생 10명, 총 35명을 대상으로 1차로 제작한 40개 문장이 해당 정서(행복, 슬픔)를 잘 드러내는지 5첨 척도를 사용하여 응답하도록 검사를 진행하였다. 최종적으로 성인과 아동이 응답한 척도의 평균을 나열한 후 4개 범주별로 초등학생과 대학원생이 가장 적합하다고 응답한 상위 5개, 총 20개 문장을 검사과제의 문장으로 선정하였다. 선정된 문항 및 문항 적절성에 대한 성인과 아동의 평균 척도는 Appendix 1에 제시하였다.
다음으로, 전문 뮤지컬 배우에게 ‘행복(기쁨, 신남, 즐거움)’ 및 ‘슬픔(슬픔, 우울, 속상함)’의 정서를 표현하는 운율로 최종 선정된 20개 문장을 각각 녹음하도록 의뢰하여 총 40개 파일을 생성하였다. 녹음에는 삼성 갤럭시 노트5의 내장마이크와 안드로이드 전용 애플리케이션인 ‘스마트레코더(Smart Recorder)’를 사용하였으며 확장자는 ‘wav’로 통일하였다. 검사 문장을 음향학적으로 분석하기 위해 ‘Computerized Speech Lap (CSL)’ (Model 4150B; Kay-PENTAX)을 사용하여 문장의 지속시간 평균(Duration Mean), 최대 기본주파수(Max F0), 최소 기본주파수(Min F0), 평균 기본주파수(Mean F0), 기본주파수 범위(F0_Range) 데이터를 수집하였다. 수집된 음향학적 데이터에 운율 간 통계적 유의성이 있는 지와 선행연구의 음향학적 기준을 따르는 지 살펴본 결과, 지속시간(Duration)을 제외한 4개 데이터에 행복, 슬픔 운율 간 유의한 차이가 있는 것으로 확인되었다(Table 2). 이러한 결과는 행복 운율은 높고 넓은 범위의 F0, 슬픔 운율은 낮고 좁은 범위의 F0를 보인다는 Grossman, Bemis, Skwerer와 Flusberg (2010)의 음향학적 기준을 충족한 것으로 판단되었다.
최종적으로 위의 과정을 통해 제작된 검사 문장은 총 40개로, 문장의 의미적 내용과 운율이 일치하는 일치조건 20개(예: 행복 정서가 포함된 의미의 문장을 행복 운율로 말하기, 직접 및 간접 단서 각 10개)와 문장의 의미적 내용과 운율이 일치하지 않는 불일치 조건 20개(예: 행복 정서가 포함된 의미의 문장을 슬픈 운율로 말하기, 직접 및 간접 단서 각 10개)로 구성되었다. 실험 시에는 정서인식의 정확도와 반응시간을 측정하기 위해 E-Prime 3.0 프로그램을 활용하여 총 40개의 정서인식 과제 녹음 파일을 대상 아동에게 무작위로 제시하였다.
연구 절차
본 연구는 아동 선별을 위한 검사, 정서인식 과제의 순서로 치료실 혹은 가정 내 소음이 없고 주의집중이 용이한 환경에서 검사자와 아동이 마주 앉아 일대일로 진행되었다.
먼저, 비언어검사와 수용어휘검사를 실시한 후 아동이 선정 기준을 충족한 경우 정서인식 과제를 실시하였다. 정서인식 과제 시 아동은 노트북에 연결된 헤드셋을 통해 검사 문장을 듣고, 동시에 화면에 제시된 2개 단어(행복해요, 슬퍼요) 중 화자의 정서를 빠르게 판단하여 키보드에 반응하도록 하였다. 검사자는 시작 화면을 보여주며 아동에게 “지금부터 선생님이 어떤 사람의 목소리를 들려줄 거야. 그럼 목소리를 듣고 이 사람의 기분이 행복한지 슬픈지 가능한 빠르게 선택해봐. (아동의 손을 노트북 자판에 직접 올려주며) 이 사람이 행복하면 파란색을 누르고 슬프면 빨간색을 누르는거야. 그런데 이 사람은 슬픈데 안 슬픈 내용을 말하기도 하고 행복한데 안 행복한 내용을 말하기도 해. 정답은 없으니까 OO이가 생각하는 대로 선택해. 목소리는 한 번만 들려주니까 잘 듣고 선택해야 해. 먼저 연습을 해보자.”와 같이 지시하였다. 운율에 기반하여 판단하는 검사 방법에 익숙하도록 연습 문항 4개를 실시한 후 본 문항을 진행하였다. 모든 문항은 무작위 순서로 제공되며 한 번만 들을 수 있도록 하였으며, 평균 소요시간은 약 5분이었다.
자료분석 및 통계처리
본 연구에서는 정서인식 과제에 대한 HF-ASD와 TD 아동의 반응을 정확도와 반응시간의 측면에서 분석하고자 하였다. 문장의 내용과 운율의 정보가 일치(20문장) 또는 불일치한 조건(20문장)에서 운율을 활용하여 정서를 정확히 인식하는지 살펴보기 위하여(정확도) 운율에 근거하여 정서를 판단 한 경우 1점(총점 20점), 화자의 목소리에 드러난 운율이 아닌 문장의 의미에 근거하여 정서를 판단 한 경우 0점을 부여하였으며, E-Prime 3.0 프로그램을 통해 자동적으로 채점되었다. 반응시간은 각 문장이 제시되는 시작 지점(onset)부터 대상자의 반응이 시작되는 지점(onset)까지의 시간으로서, 역시 E-Prime 3.0 프로그램으로 측정하였다. 본 연구에서 확인하고자 하는 반응시간은 의미와 운율 일치 조건에 상관없이 반응하는 데에 필요한 시간을 분석하고자 했으므로 모든 문장에 대한 정서인식 반응시간 데이터를 수집하였다.
본 연구의 데이터를 분석하기 위해 먼저, HF-ASD와 TD 두 집단 간에 정서인식 과제의 문장에 포함된 정서 단어의 유무 조건(간접 단서, 직접 단서) 및 의미-운율의 일치 조건(일치 조건, 불일치 조건)에 따른 정서인식 정확도와 반응시간에 차이가 있는지 알아보기 위해 비모수 분석 방식인 Mann-Whitney U-Test를 실시하였다. 두 번째로, 각 집단 내에 정서를 나타내는 정서적 단어의 유무 조건(간접 단서, 직접 단서) 및 의미-운율의 조합 조건(일치 조건, 불일치 조건)에 따라 차이가 있는지 살펴보기 위하여 집단 별로 비모수 분석 방식인 Wilcoxon’s Signed-Ranks Test를 실시하였다. 마지막으로, 고기능 ASD 아동이 보인 정서인식 정확도 및 반응시간에 대해 정서 단어의 유무 조건(간접적 단서, 직접적 단서) 및 의미-운율의 조합 조건(일치 조건, 불일치 조건) 간의 상관관계를 살펴보기 위하여 Spearman 상관분석을 실시하였다. 분석을 위해 SPSS for Window(ver 29.0) 통계프로그램을 사용하였다.
연구결과
집단 간 정서인식 정확도와 반응시간의 차이
HF-ASD와 TD 아동 집단이 정서 단서의 유무 조건(간접 단서, 직접 단서)과 자극 제시 조건(일치, 불일치)에 따른 정서인식 정확도와 반응시간에서 어떠한 집단 간 차이를 보이는지 알아보기 위해 Mann-Whitney U-Test를 실시하였다. 분석 결과 Table 3에 나타난 바와 같이 정서인식 정확도에서는 모든 조건에서 두 집단 간에 유의미한 통계적 차이가 나타나지 않았다. 반면, 반응시간에서는 ‘간접 단서-불일치 조건’을 제외한 모든 조건에서 두 집단 간에 유의미한 통계적 차이가 나타난 것으로 분석되었다. 즉, ‘간접 단서-일치 조건’(p<.01), ‘직접 단서-일치 조건’(p<.001), 그리고 ‘직접 단서-불일치 조건’(p<.01)에서 HF-ASD 아동은 TD 아동보다 유의미하게 느린 정서인식 반응시간을 보인 것을 알 수 있다(Table 3).
집단 내 정서인식 정확도와 반응시간의 차이
HF-ASD와 TD아동 집단이 각각 정서 단서의 유무 조건(간접 단서, 직접 단서)와 자극 제시 조건(일치, 불일치)에 따라 정서인식 정확도와 반응시간에서 어떠한 차이를 보이는지 알아보기 위해 Wilcoxon’s Signed-Rankes Test를 실시하였다. 먼저, 단서 조건별 자극 제시 조건(일치 조건, 불일치 조건)에 따른 정서인식 정확도에서 HF-ASD 아동(p<.05)과 TD 아동(p<.05) 집단 모두 유의미한 통계적 차이를 보였다(Table 4). 이는 두 집단이 문장의 내용과 운율이 일치하였을 때 더 높은 정확도로 정서를 인식하였음을 보여준다. 반면, 반응시간에서는 모든 조건에서 유의미한 집단 내 통계적 차이를 나타내지 않았다. 즉, 두 집단에서 모두 문장의 내용에 따른 운율의 일치도 여부가 반응시간에 유의한 영향을 미치지 않은 것으로 해석할 수 있다.
HF-ASD 집단의 정확도와 반응시간에서 조건 간 상관관계
HF-ASD 아동 집단이 정서인식 정확도와 반응시간별로 정서 단서의 유무 조건(간접적 조건, 직접적 조건)과 자극 제시 조건(일치 조건, 불일치 조건)에서 보인 수행의 상관관계를 살펴보기 위해 Spearman 상관분석을 실시하였다. 그 결과 정확도에서는 불일치 조건에서의 수행이 간접 단서 및 직접 단서 조건과 유의미한 상관을 보였으며, 일치 조건에서의 수행은 단서 유무 조건과 관련을 보이지 않았다. 반응시간에서는 일치 조건에서의 수행이 간접 단서와 상관을 보였으며, 불일치 조건에서는 간접 단서 및 직접 단서 조건의 수행과 상관을 보이는 것으로 나타났다. 흥미롭게도 불일치 조건에서의 수행은 직접단서 조건에서 보인 수행과 일치하는 상관을 보였다. 정확도와 반응시간에서 모두 직접 단서와 간접 단서 간에 유의한 상관이 나타났다(Table 5).
논의 및 결론
본 연구는 학령기 HF-ASD 아동과 생활연령을 일치시킨 TD 아동 집단이 정서 단서의 유무 조건(간접 단서, 직접 단서)과 자극 제시 조건(일치, 불일치)에 따라 정서인식 정확도와 반응시간에서 집단 간 및 집단 내에서 어떠한 차이를 보이는지 탐색하기 위해 진행되었다. 그 결과 정서인식 정확도에서는 직·간접 단서가 포함된 문장 별 일치 및 불일치 조건 모두에서 집단 간에 유의미한 통계적 차이가 나타나지 않았으나, 반응시간에서는 ‘간접 단서-불일치 조건’을 제외한 모든 조건에서 HF-ASD 아동이 TD 아동에 비해 유의하게 느린 반응을 보인 것으로 나타났다. 연구결과에 대한 상세한 논의는 아래와 같다.
먼저, 정서인식 정확도에서 HF-ASD 아동은 문장에 정서 단어가 직접적으로 포함되는 지의 여부나 문장의 의미적 내용과 정서 운율이 일치하는 지의 여부에 관계없이 TD 아동과 유사하게 운율에 근거하여 정서를 적절히 인식하여 반응할 수 있었다. 선행연구에서도 의미적 내용이 적은 문장이나(Grossmann, Bemis et al., 2010) 의미적 내용이 없는 무의미 발화로 정서 운율이 제시된 경우(Brennand, Schepman, & Rodway, 2011) ASD 집단이 정서 운율을 TD 집단만큼 정확히 지각할 수 있었다. 이에 대해 Le Sourn-Bissaoui 등(2013)은 어휘 단서나 상황적 맥락이 최소화된 단순한 과제에서 정서 운율을 판단하는 절차는 ASD에게 ‘교차감각의 통합(intermodal binding)’을 덜 요구하기 때문이라고 설명하였다. 교차감각의 통합이란 여러 감각 정보가 동시에 주어질 때에 이를 조화롭게 지각하게 하는 인지 과정으로, 예를 들어 얼굴과 들리는 목소리가 일치하거나, 화면의 장면과 소리가 일치할 때 우리의 감각이 혼란없이 자연스럽게 인지하도록 통합하는 과정을 의미한다. Zhang 등(2022) 또한 선택해야 하는 정서의 수나 종류와 같은 과제의 난이도, 그리고 의미정보의 제시와 같은 자극의 조건이 정서 운율의 지각에 영향을 미치는 변수라고 언급하였다. Wang과 Tsao (2015)의 연구에서는 ASD 아동이 슬픔이나 화남의 강렬한 운율에서 TD와 유사한 반응을 보였으나 행복 등의 중립적인 감정에서는 차이를 보였고, Le Sourn-Bissaoui 등(2013)에서는 운율이 단독으로 제시되었을 때보다 복잡한 맥락이 포함된 과제에서 TD와 반응의 정확도에 유의한 차이가 있었다고 보고되었다. 본 연구에서는 두 집단 모두 문장의 내용과 운율의 일치 여부에 따라 유의한 집단내 차이를 보였으며 일치 조건에서 더 높은 정확도로 정서를 인식하는 결과를 보여 과제의 불일치 조건이 더 많은 감각적 통합을 인지적으로 요구하는 과제임을 유추할 수 있었으나, 집단 간의 유의한 차이는 드러나지 않았다. 과제 개발 시 선행연구에 기반하여 ‘기쁨, 신남, 즐거움’의 중립적인 행복 정서를 포함하였고, 정서단어가 직접적으로 드러나지 않은 간접 단서 문장을 제작하여 맥락의 난이도를 높이고자 하였다. 그러나 본 연구의 문장이 발달장애를 위한 교육용 어휘 목록을 참고하여 제작되었고 문장의 길이를 3-5어절로 한하여 연구대상인 1학년에서 6학년 HF-ASD와 TD 집단 아동에게 난이도 있는 과제가 아니었을 가능성이 높다. 이러한 결과는 본 연구의 제한점이 분명하나 두 집단이 유의한 차이를 보이지 않은 과제의 조건을 면밀히 살펴 ASD 대상자의 정확한 반응빈도를 높이는 과제가 무엇인지 혹은 어느 정도의 과제 난이도 수준에서 TD와 차이가 나타나기 시작하는지 확인함으로써 중재전략에 적용하도록 제언하는 데에 유용하게 활용될 수도 있다. 이러한 관점에서 학령기 혹은 성인기의 HF-ASD 집단이 타인의 정서를 정확히 지각하고 이해할 수 있는 초분절적 요소 및 맥락적 단서와 수준을 확인하는 좀 더 다양한 연구결과 또한 이후 적극적으로 축적할 필요가 있다.
다음으로 반응시간의 측면에서 두 집단은 ‘간접 단서-불일치 조건’에서 유의한 차이를 보이지 않았다. 즉, 두 집단은 ‘달리기 시합에서 1등을 했어요’를 슬픈 운율로 말하는 것과 같이 정서운율이 내용과 불일치하고 정서적 단서가 문장에 직접적으로 드러나지 않는 조건에서 유사한 정서인식 속도를 보였는데, 이는 해당 조건이 두 집단 모두에게 교차감각 통합을 요구하는 난이도 높은 과제였기 때문일 수 있다. 반면 앞서 정확도에서는 집단 간에 유의한 차이가 나타나지 않았으나, 반응시간에서는 ‘간접 단서-불일치 조건’을 제외한 나머지 조건에서 유의한 집단 간 차이를 보였다는 점에 주목할 필요가 있다. Zhang 등(2022)은 ASD의 정서 운율 인식에 관한 20개 선행연구 및 651명의 대상자를 포함한 메타분석을 진행하였는데, 반응시간만 확인하거나 정확도와 반응시간을 함께 비교한 다수의 연구에서 대체로 정서 운율로 감정을 지각하고 인지하는데 있어 ASD 대상자는 TD와 유사한 정확도 수준을 보였지만(Boucher, Lewis, & Collis, 2000; Grossmann, Bemis et al., 2010) 운율정보를 처리하여 정확히 반응하기 위해서는 좀 더 오랜 시간이 필요했음을 확인하였다(Uljarevic & Hamilton, 2013). Le Sourn-Bissaoui 등(2013)은 이러한 경향에 대해 ASD 집단이 보이는 운율 표현이나 지각의 어려움은 이들이 특정 운율을 처리하는데 결함이 있거나 정서를 이해하지 못하기 때문이 아니라 익숙하지 않은 낯선 정보를 무시하고 자신의 반응을 조절하여 억제해야 하는 교차 감각(multimodal)의 통합적이고 실행적 처리문제 혹은 암시적 의미를 추론하거나 맥락을 바탕으로 이해하는 인지적 과정인 추론적 처리능력(inferential processing)상의 제한으로 이해해야 한다고 논의하였다. 연구들은 이러한 처리능력상의 어려움은 정확도와 함께 반응시간을 살펴봄으로써 더 효과적이고 세밀하게 비교할 수 있다고 하였다. Scheerer 등(2020)은 이에 더해 일치 및 불일치 패러다임은 ASD 아동이 가장 어려움을 겪는 미묘한 사회적 상황(예: 빈정거림, 타인의 감정 변화 등)에서 타인의 정서를 추론하는 기술을 평가하는 과제로서 유용하다고 평가하면서, 정서 운율에 대한 추론적 처리과정이 ASD 아동의 사회기술 중재에 포함되어야 할 요소라고 제언하였다. 그러나 불일치 패러다임을 사용하여 집단 간의 차이를 밝힌 선행연구와 달리 본 연구에서는 HF-ASD 아동이 운율일치 여부에 관계없이 느린 반응속도를 보여 직간접 단서 및 운율일치 여부보다는 ‘운율정보를 처리하여 정서를 판단하도록 요구하는 검사 과제’ 자체가 낯선 정보로서 이에 신속하게 반응하고 통합적으로 처리하는 데 좀 더 시간이 필요하였음을 알 수 있었다. 한편 운율의 불일치 조건 여부에 따른 차이가 뚜렷이 나타나지 않은 것은 연구대상의 수가 적고 저학년뿐 아니라 고학년도 포함되어 본 연구의 과제에 쉽게 반응하였기 때문일 수 있다. 더욱이 검사 과제에서 동일한 문장을 일치 및 불일치 조건에 노출함으로써 반응시간에 영향을 미쳤을 가능성도 배제할 수 없어 추후 연구를 통해 보완되어야 할 점으로 남아있다.
반면, HF-ASD 집단 내 상관관계 분석 결과 정확도와 반응시간에서 불일치 조건에서의 수행이 간접 단서 및 직접 단서 조건과 유의미한 상관을 보였으며, 반응시간에서 일치 조건에서의 수행이 간접 단서와 상관을 보였다. 즉, 문장의 의미단서와 운율 단서가 일치하지 않은 조건에서는 의미단서가 문장내 포함 여부보다는 운율에 좀 더 영향을 받을 가능성을 내포한다.
본 연구는 학령기 HF-ASD 아동과 생활연령을 일치시킨 TD 아동 집단이 정서 단서의 유무 조건(간접 단서, 직접 단서)과 자극 제시 조건(일치, 불일치)에 따라 정서인식 정확도와 반응시간에 두 집단이 어떠한 차이를 보이는지 탐색하기 위해 진행되었고, 운율을 통한 정서인식이 과제나 제시되는 단서의 맥락 및 난이도의 영향을 받는다는 점이 확인되었다. 그러나 충분한 대상자의 수가 확보되지 못하였고, 학년의 범위가 1학년에서 6학년으로 넓어 적절히 통제되지 못했다는 아쉬움이 있다. 또한 행복과 슬픔의 기본 정서뿐 아니라 좀 더 다양한 정서가 고려되고, 고기능 자폐스펙트럼장애뿐 아니라 언어발달장애와 같은 여러 장애군과의 비교 연구가 진행된다면 연구결과에서 유의미한 차별점을 확인할 수 있을 것이기에 이점은 심도 있는 후속연구를 통해 지속적으로 확인되어야 한다.