| Home | E-Submission | Sitemap | Contact Us |  
top_img
Commun Sci Disord > Volume 29(3); 2024 > Article
한국판 영유아체크리스트(K-ITC)의 언어발달지연 영아 선별 민감도 및 특이도

초록

배경 및 목적

본 연구는 민감도와 특이도 분석을 통하여 한국판 영유아체크리스트(K-ITC)가 언어발달지연 영아를 선별하는데 타당한가를 살펴보는 것을 목적으로 하였다.

방법

연구참가자는 6-24개월 사이의 언어발달지연 영아 39명과 이들과 일대일로 생활연령을 일치시킨 전형적 발달 영아 39명, 총 78명의 영아였다. 두 집단 영아들에게서 측정된 K-ITC 총점과 세 구성영역(사회적, 발화적, 상징적 영역) 점수에 대해 두 독립표본 t-test를 실시하여 차이를 검정하였으며, ROC 분석을 통해 각 점수의 민감도와 특이도를 측정하여 타당도를 검정하였다.

결과

언어발달지연 집단이 전형적 발달 집단에 비해 K-ITC 총점과 구성영역 점수 중 사회적 영역과 발화적 영역 점수가 유의하게 낮았다. 상징적 영역 점수는 유의한 차이가 없었다. ROC 분석 결과 총점 및 세 구성영역 점수의 AUC가 유의하게 나타났으며, 민감도는 총점 95%, 세 구성영역은 87.18%, 특이도는 총점 64.10%으로 민감도가 특이도에 비해 높게 나타났다.

논의 및 결론

본 연구를 통하여 K-ITC가 언어발달지연 영아 선별검사로써 높은 민감도를 갖고 있으며, 언어발달지연을 유의하게 선별해 주는 타당도를 갖춘 검사임을 확인하였다.

Abstract

Objectives

This study aimed to investigate the validity of the Korean-infant and toddler checklist (K-ITC) in screening for developmental language delay through analysis of sensitivity and specificity.

Methods

Participants were 39 infants with developmental language delay aged 6-24 months, and 39 typically developing infants matched for chronological age. Total scores and scores from three domains (social, speech, and symbolic) of the K-ITC were compared between the two groups using independent samples t-tests. Receiver operating characteristic (ROC) analysis was conducted to assess the sensitivity and specificity of each score, confirming the validity

Results

Infants with developmental language delay scored significantly lower than typically developing infants on the social and speech domains of the K-ITC, but not on the symbolic domain. ROC analysis indicated significant area under the curve (AUC) values for total scores and scores from each domain, with sensitivity of 95% for total scores and 87.18% for domain scores, and specificity of 64.10% for total scores. Sensitivity was notably higher compared to specificity

Conclusion

This study confirms that the K-ITC exhibits high sensitivity as a screening tool for developmental language delay in infants, demonstrating validity in significantly identifying developmental delays in infants and toddlers.

영아기의 초기 의사소통 발달은 이후의 언어습득은 물론 사회· 정서적 발달이나 인지 발달 등 발달 전반에 걸쳐 광범위하게 영향을 미치며, 학령기 이후의 학업 성취나 또래 관계 등에까지 지속적으로 영향을 준다(Lee, 2011; Lee, Choi, & Kim, 2020; Rescorla, 2002, 2005, 2009). 따라서 언어 및 의사소통 발달에 어려움을 보이는 영아를 최대한 빠른 시기에 발견하여 아이의 문제가 심화되기 전에 적절한 도움을 제공하고, 의사소통 발달 문제가 미치는 영향을 최소화 하는 것이 중요하다(Lee, 2019).
의사소통 발달 문제의 조기 발견은 발달 위험 영아를 선별(screening)하는 것으로 시작한다. 선별은 문제가 의심되어 더 자세하고 심도 깊은 평가가 필요한 대상을 확인하는 과정으로, 이를 통해 진단 검사로 의뢰되게 된다(Lee, 2019; Paul & Norbury, 2012). 주로 영아의 양육을 담당하거나 함께 생활하는 부모나 가족 등에 의해 이루어지는 경우가 대부분이나, 부모나 가족이 영아기 의사소통 발달에 대한 경험이나 지식이 부족하여 제대로 자녀의 의사소통 문제를 인식하지 못하거나, 문제를 인식하는 경우에도 영아기의 의사소통 발달은 개인차가 크다는 특성이 있기 때문에 2세 이후까지 문제가 확연히 드러날 때까지 기다리는 경우가 많다(Lee, Lee, & Choi, 2023; Wetherby & Prizant, 2003). 때문에 여러 나라에서는 국가나 공공 기관의 지원 하에 영아의 초기 의사소통 발달을 선별하는 작업을 진행하고 있다. 우리나라에서도 2007년부터 영유아 건강검진 사업을 통해 생후 4개월 영아부터 71개월 유아까지 7회에 걸쳐 언어 의사소통 발달을 포함한 전반적 발달 선별검사를 의무화하여 진행하고 있으며(Eun et al., 2007), 지자체별로 언어 및 의사소통 발달 선별에 중점을 둔 사업들이 다양하게 실시되고 있다. 이러한 대규모 선별검사에는 선별을 목적으로 개발된 표준화된 선별검사가 활용되고 있으며, 이는 더 쉽고 정확하게 선별검사를 진행할 수 있다는 장점을 갖는다.
앞에서도 서술하였듯이 선별검사는 더 자세한 검사가 필요한 영아를 발견하여 심화 검사로 의뢰하는 것이 목적이므로 단시간에 쉽게 실시할 수 있어야 한다. 따라서 각 시기별로 중요한 발달 사항을 단시간 내에 평가할 수 있어야 하며, 부모나 가족들도 쉽게 사용할 수 있는 체크리스트 형식이 권장된다(Lee, 2019; Paul & Norbury, 2012; Radecki, Sand-Loud, O’Connor, Sharp, & Olson, 2011). 현재 우리나라에서 영아기 언어 및 의사소통 발달 선별을 목적으로 활용되는 검사에는 영유아 언어 발달검사(Sequenced Language Scale for Infants, SELSI; Kim, Kim, Yoon, & Kim, 2003), 한국판 맥아더-베이츠 의사소통 발달검사(Korean MacArther Bates Communicative Developmental Inventory, K M-B CDI; Pae & Kwak, 2011), 영유아 언어 및 의사소통 발달검사(Korean version of the developmental snapshot, K-SNAP; Pae, Yoon, & Seol, 2015), 한국판 영유아 체크리스트(Korean-Infant and Toddler Checklist, K-ITC; Lee et al., 2023) 등이 있다. 이 중 SELSI와 K M-B CDI는 선별은 물론 진단을 목적으로도 활용되므로 검사 문항이 많아 짧은 시간 내에 평가를 진행하는 선별검사로 활용하기에는 상대적으로 사용에 부담이 있으며, 언어 중심의 결과를 제공하므로 아직 언어 발달이 시작되지 않아서 의사소통 발달을 중심으로 발달을 확인해야 하는 나이가 어린 영아들의 선별검사로 활용하기에는 아쉬운 점이 있다. K M-B CDI의 경우는 축약형 검사도 제공되고 있으나 여전히 표현어휘나 이해어휘 등 어휘 면에만 초점을 두고 있기 때문에 전반적 언어 및 의사소통을 짧은 시간 안에 타당하게 보기에는 제한점이 있다(Kim et al., 2014). K-SNAP은 4-36개월 영아의 언어 및 의사소통 발달을 선별하기 위한 목적으로 개발된 검사로, 앞선 두 검사에 비해 상대적으로 문항 수가 적어 실시가 용이하며, 발성과 제스처, 단어 및 의미 사용, 문장과 문법 사용 정도 등과 같이 초기 의사소통 발달을 살펴보는 문항들을 포함하고 있어 선별검사로 활용도가 높다. 그러나 결과를 총점으로만 제시하므로 의사소통 하위영역별 프로파일에 대한 정보는 제공하지 않는다.
K-ITC는 Wetherby와 Prizant (2003)에 의해 6-24개월 영아의 의사소통과 상징행동을 평가하기 위한 목적으로 개발된 CSBS DP(Communication and symbolic behavior scale developmental profile, CSBS DP)의 영유아 체크리스트(Infant and toddler checklist, ITC)를 우리나라 영아를 대상으로 표준화한 검사이다. ITC는 대표적인 영아용 의사소통 선별검사로 언어이전기부터 언어출현기까지의 의사소통 발달을 정서 및 시선 사용, 의도적 의사소통 행동, 몸짓, 말소리, 낱말, 언어이해, 사물 사용의 7가지 세부요인(cluster)으로 평가한다. 결과는 총점과 사회적, 발화적, 상징적의 세 구성영역(composite) 점수로 제공하는데, 총점 또는 사회적 영역이나 상징적 영역이 관심수준에 있는 경우 심화검사에 의뢰하며 발화적 영역의 경우만 관심수준에 있는 경우는 지속적 모니터링만 권고한다. ITC를 통해 발달지연이 의심되는 것으로 권고된 영아에게는 CSBS DP의 다른 두 검사인 양육자설문검사(caregiver questionnaire)와 행동표본검사(behavior sample)를 통해 심화 검사를 진행하도록 하는 2단계 평가(2-step assessment) 절차를 적용하도록 제안된다. ITC는 총 24문항으로 양육자가 직접 작성하도록 개발되어 비교적 짧은 시간에 쉽게 실시할 수 있으며, 언어뿐 아니라 의사소통 중심의 평가 항목으로 구성되어 있고, 짧은 검사임에도 총점만이 아니라 구성영역별 점수도 제공하여 발달 프로파일을 확인할 수 있게 하며, 평가 결과에 따라 심화검사 대상자에게는 CSBS DP 양육자 설문검사와 행동표본검사를 실시할 수 있도록 검사가 구성되어 있기 때문에 그 유용도가 매우 높다.
ITC는 총 2,188명 영아를 대상으로 한 표준화 연구를 통해 신뢰도와 타당도가 보고되었으며(Wetherby & Prizant, 2003), 의사소통장애는 물론 자폐스펙트럼장애와 같은 전반적 발달장애 아동들을 조기 선별하기 위한 타당도가 보고되었다(Wetherby et al., 2004; Wetherby, Brosnan-Maddox, Peace, & Newton, 2008; Wetherby, Watt, Morgan, & Shumway, 2007). 또한 의사소통장애나 발달장애 영아를 대상으로 한 민감도(sensitivity)와 특이도(specificity) 연구에서, 의사소통장애 선별 민감도와 타당도는 12-17개월에 각각 88.7%와 74.5%, 18-24개월에 85.7%와 76.9%로(Wetherby, Goldstein, Cleary, Allen, & Kublin, 2003), 자폐스펙트럼장애 선별에 대한 민감도와 타당도는 94.4%, 특이도는 88.9%, 자폐스펙트럼 장애와 발달장애가 혼합된 경우는 민감도는 88.9%, 특이도는 88.9%로(Wetherby et al., 2004) 비교적 높게 보고되어 ITC가 의사 소통장애는 물론 자폐스펙트럼장애를 포함한 발달장애 선별검사로도 유용하게 활용될 수 있음을 입증하였다.
이와 같이 ITC가 갖는 유용성으로 인하여 ITC는 검사가 개발된 미국과 영어권인 호주 및 캐나다는 물론 중국, 대만, 포르투갈, 스웨덴, 필란드 등 여러 나라에서 번안하거나 표준화되어 아동 발달과 관련된 대규모 코호트 연구나 공중보건이나 아동 복지 또는 보건 분야에서 활용되고 있다(Borkhoff et al., 2022; Chambers, Stronach, & Wetherby, 2016; Dahlberg, Levin, & Fäldt, 2024; Eadie et al., 2010; Fäldt et al., 2021; Filipe, Severino, Vigário, & Frota, 2023; Lin & Chiu, 2014; Lin, Chang, Cheng, Chao, & Chiu, 2015; Sobieski et al., 2024). 대표적으로 언어발달에 대한 전향적 코호트 연구로 잘 알려진 Victoria 연구(Early Language in Victoria Study, ELVS; Reilly et al., 2009)에서는 연구에 참여한 아동들에게 초기 의사소통 선별검사로 ITC를 사용하여 언어발달지연 영아를 선별하였으며, 스웨덴에서 진행된 아동발달 코호트 연구(Dahlberg et al., 2024; Fäldt et al., 2021)와 캐나다 토론토의 의료기관에서 진행된 전향적 코호트 연구(Borkhoff et al., 2022)에서는 발달위험군 영아를 확인하기 위한 선별검사로 ITC를 활용하였다. 캐나다 토론토의 초등 의료 기관에서 진행된 전향적 코호트 연구(Borkhoff et al., 2022; Nurse et al., 2023)는 18개월에 측정한 ITC 결과가 3-5세 사이의 발달 문제(발달지연, 자폐스펙트럼장애, 주의력결핍 및 과잉행동장애, 학습문제 포함)를 높은 특이도(92%)와 낮은 민감도(31%)로 예측하였다고 보고하였다. 스웨덴에서 진행된 아동발달 코호트 연구에서는 18개월에 ITC 결과가 관심수준에 해당하는 영아에 대해 CSBS DP로 심화 검사를 진행한 결과, 민감도는 .85, 특이도는 .59였으며, ITC 결과와 간호사가 보고한 정보를 함께 적용하여 선별한 경우, 민감도는 .88, 특이도는 .63으로 증가하였다고 보고하였다(Dahlberg et al., 2024; Fäldt et al., 2021). 이와 같이 각 연구마다 보고된 민감도와 특이도의 차이는 ITC 선별 이후 후속검사까지의 시간적 경과 정도와 후속검사에서 사용한 검사에서의 차이로 인한 것으로 고려된다. 높은 민감도를 보고한 Wetherby 등(2003)Fäldt 등(2021)은 CSBS DP 검사로 후속검사를 진행한 반면, 높은 특이도를 보고한 Borkhoff 등(2022)은 부모들에게 질문을 통해서 발달장애를 확인하였다는 차이가 있었다.
우리나라에서는 먼저 CSBS DP 행동표본검사(Lee, Lee, & Choi, 2018)와 CSBS DP 양육자설문검사(Lee, Choi, & Lee, 2021)의 신뢰도와 타당도가 보고되었으며, K-ITC는 2023년 출판된 한국판 CSBS DP (K-CSBS DP; Lee et al., 2023) 검사지침서에 총 829명의 영아를 대상으로 한 신뢰도 및 타당도가 보고되었다. 해당 결과를 보면, 신뢰도의 경우 총점이 .95, 세 구성영역이 .76-.84로 높은 수준의 내적일관도가 보고되었으며, 일주일 간격으로 이루어진 검사-재검사 신뢰도가 총점은 .959, 세 구성영역은 .903-.941로 높은 신뢰도가 보고되었다. 또한 타당도의 경우 20개월 이하에서는 거의 모든 연령 간에 유의한 차이를 보여 발달적 타당도를 보고하였으며, K-ITC 총점이 CSBS DP 양육자설문검사와는 .932, 행동표본검사와는 .688, SELSI 수용언어와는 .753, 표현언어와는 .725, 통합언어와는 .762으로 높은 상관을 보여 공인타당도를 입증하였다.
표준화된 선별검사는 신뢰도나 타당도만이 아니라 실제 그 검사가 발달에 문제가 있는 영아를 제대로 선별하고 발달에 문제가 없는 영아는 전형적 발달로 선별해 주는지를 확인하는 민감도와 특이도를 갖추어야 한다. 민감도는 특정 질병이나 상태를 실제로 가진 사람들을 얼마나 잘 판별할 수 있는지를 나타내며, 특이도는 특정 질병이나 상태를 갖지 않은 사람을 나타내는 지표이다. 민감도와 특이도가 높을수록 해당 검사 도구가 질병이나 문제를 정확하게 확인해준다는 것을 의미하기 때문에 민감도와 특이도는 검사의 유용성을 확인하는 중요한 지표가 될 수 있다(Borsboom, Mellenbergh, & van Heerden, 2004). 임상이나 연구에서 사용되는 심리검사 도구가 높은 민감도와 특이도를 가진다면 연구결과의 신뢰성이 향상될 수 있으며, 잘못된 진단으로 인한 비용과 시간 낭비를 예방할 수 있다. 따라서 심리검사 도구의 민감도와 특이도 연구는 진단의 정확성을 높이고, 개인화된 치료를 가능하게 하며, 연구 결과의 신뢰성을 보장하는 데 중요한 역할을 한다(American Educational Research Association, American Psychological Association, & National Council on Measurement in Education, 2014; Borsboom et al., 2004).
ITC의 경우는 이미 여러 연구들(Borkhoff et al., 2022; Fäldt et al., 2021; Wetherby et al., 2003; Wetherby et al., 2004)을 통해 민감도나 특이도를 중심으로 해당 검사가 특정 장애 집단을 얼마나 잘 선별해주는지에 대한 예측타당도가 보고된 바 있으나, K-ITC의 경우는 표준화 연구를 통해 신뢰도와 타당도만 보고된 바 있다. 본 연구는 이러한 배경하에 생활연령을 일치시킨 언어발달지연 영아와 전형적 발달 영아들에게서 얻어진 K-ITC 결과에 대해 집단 간 차이를 검정하고, ROC 분석을 통해 민감도와 특이도를 확인하여 K-ITC가 언어발달지연 영아를 정확하게 선별해주는지에 대한 타당도를 살펴보고자 하였다.

연구방법

연구참가자

본 연구의 참가자는 K-ITC 표준화 연구에 참여한 6-24개월 영아 중 언어발달지연 영아 39명과 이 아동들과 개별적으로 생활연령을 일치시킨 전형적 발달 영아 39명, 총 78명의 영아였다. 두 집단의 영아는 모두 일대일로 생활연령이 같은 영아로 선정하였다. 연구 자료는 K-ITC 표준화를 목적으로 수집된 자료 중에서 언어발달지연 영아의 자료와 언어발달지연 영아와 생활연령을 일치시킨 전형적 발달 영아의 자료를 무작위로 선별하여 사용하였다. 이 자료들은 표준화 자료 수집 시 영아의 부모 또는 보호자로부터 연구목적으로 사용하는 것에 대해 사전 동의를 받았으며, 개인정보 보호를 위해 영아를 식별할 수 있는 개인 정보는 삭제하고 임의적인 개인식별번호(ID)를 부여하여 관리하고 있다.
언어발달지연 영아는 영· 유아언어발달검사(SELSI; Kim et al., 2003)의 통합언어점수와 표현언어점수가 -1 표준편차 미만 영아에 해당하는 경우로 하였다. SELSI에서는 평균에서 -1--2 표준편차 사이는 ‘약간 지체(유의요망)’, -2 표준편차 이하는 ‘언어발달지체’로 정의하는데, K-ITC는 더 심화된 검사가 필요한 발달위험 영아 선별을 목적으로 하는 선별검사이므로 본 연구에서 언어발달지연 영아는 ‘약간 지체’와 ‘언어발달지체’에 해당하는 영아를 모두 포함하였다. 전형적 발달 영아는 언어발달지연 영아와 월령(chronological month of age)을 개별적으로 일치시켜 선정하였으며, 성별도 최대한 일치시켰다. 본 연구에 참여한 영아의 정보는 Table 1과 같다. 두 영아 집단은 생활연령(월령)이 동일하였으며, 성비(남:여)는 전형적 발달 집단은 29:10, 언어발달지연 집단은 24:15로 언어발달지연 집단에서 여아가 5명 더 많았다. SELSI 수용언어연령(백분위수), 표현언어연령(백분위수), 통합언어연령(백분위수), DEP 전체 백분위수는 모두 언어발달지연 집단이 전형적 발달 집단에 비해 유의하게 낮았다. 전반적 발달검사인 영아선별·교육진단검사(Development Assessment for the Early Intervention Planning, DEP; Jang, Seo, & Ha, 2011) 총점에 대한 백분위수는 두 집단 모두 평균 범위에 해당하였으나 전형적 발달 집단이 언어발달지연 집단에 비해 유의하게 높았다.

연구 도구

한국판 영유아 체크리스트(K-ITC)

한국판 영유아 체크리스트(K-ITC; Lee et al., 2023)는 Wetherby와 Prizant (2003)가 6-24개월 아동을 대상으로 의사소통 발달을 선별하기 위해 개발한 ITC를 한국어로 번안하여 표준화한 검사이다. CSBS DP 행동표본검사 및 양육자설문검사와 동일하게 정서 및 시선, 의사소통, 몸짓, 말소리, 낱말, 이해, 사물 사용의 7가지 언어발달 예측지표를 측정하며, 총 24개의 문항으로 구성되어 있다. 부모보고 검사 형식으로 양육자가 직접 읽고 응답하는 형식을 갖추고 있으며, 직접 응답이 어려운 경우에는 면담형식으로 실시할 수 있다.
K-ITC는 말소리와 낱말 산출을 묻기 위한 16번과 17번 문항의 예시를 제외하고는 원검사 문항을 그대로 번역하였다. 번역·수정한 내용은 아동언어발달 또는 아동언어장애 분야 박사학위 소지자 3명에게 각 문항별 번역 적정성에 대해 내용타당도를 확인하였으며, 일부 제안된 사항에 대해서는 수정하였다. 우리나라 영아 829명을 대상으로 표준화되었으며, 매우 높은 내적일관성 신뢰도, 검사-재검사 신뢰도와 K-CSBS DP 양육자설문검사 및 행동표본검사, SELSI와 높은 공인타당도가 보고되었다. K-ITC 검사 구성과 수정 내용은 Table 2에 제시하였다.

영·유아언어발달검사(SELSI)

SELSI는 4-35개월 영유아를 대상으로 언어발달 정도를 평가하고 언어장애를 선별 및 진단하는 검사로 언어전반점수와 수용 및 표현 언어 영역 점수를 제공한다. 부모 및 양육자와의 면담이나 보고를 통해 평가한다. 국내 영유아 1,005명을 대상으로 표준화 되었으며, 문항내적일치도와 재검사 신뢰도를 통해 신뢰도가, 난이도와 변별도를 통해 타당도가 보고되어 있다. 검사 결과는 언어발달연령(수용, 표현, 통합)과 백분위수로 제공되며, 영역별 점수가 해당 생활연령의 평균점수로부터 -1 표준편차 이상에 해당하는 경우 정상발달, -1 표준편차와 -2 표준편차 사이에 해당하는 경우 약간지체(혹은 유의 요망), -2 표준편차 이하에 해당할 경우 언어발달지체로 판정한다. 본 연구에서는 언어발달지연 영아 진단을 위해 사용하였다.

영아선별·교육진단검사(DEP)

DEP은 Jang 등(2008)에 의해 장애위험 가능성이 있는 영아를 조기에 선별하고 평가하기 위한 목적으로 개발된 검사로 본 연구에서는 연구참가 영아의 발달이 전형적으로 이루어지는지 확인하기 위하여 사용하였다. 0-36개월 사이에 있는 영유아를 대상으로 6개 발달영역(대근육 운동기술, 소근육 운동기술, 의사소통, 사회정서, 인지, 기본생활)을 평가하도록 구성되어 있으며, 각 영역별 발달점수를 제공한다. 부모, 양육자, 교사가 직접 관찰하여 수행 여부를 검사할 수 있으며, 대상 영아를 관찰한 경험이 없는 제 3의 평가자가 부모, 양육자 교사를 대상으로 면접 질문을 통해서도 검사할 수 있다. 총 861명을 대상으로 표준화되어 있으며, 문항내적일치도, 재검사 신뢰도, 한국형 부모 작성형 유아모니터링체계(Korean Ages and Stages Questionnaires, K-ASQ; Heo, Squires, Lee, & Lee, 2006)와의 공인타당도가 보고되어 있다. 검사 결과는 총점과 발달영역에 대한 백분위수로 제공된다. 본 연구에서는 연구참가자 영아들의 전반적 발달 정도를 확인하기 위해 사용하였다.

자료수집

K-ITC 표준화 자료 수집은 다음과 같은 과정으로 진행되었다. 먼저 영아를 둔 부모나 양육자들이 활동하는 인터넷 카페(예: 맘카페), 병원, 어린이집, 언어임상센터 등에 연구참가자 모집안내문을 공지 또는 배포하였다. 모집안내문을 보고 참여 의사를 밝힌 경우에는 전화나 이메일을 통해 연구 목적이나 절차에 대해 안내하고 참여 의사를 재확인하였다.
연구자료는 검사자가 연구참가자를 직접 방문하거나 우편을 통해 자료를 보내어 수집하였다. 검사자가 가정으로 직접 방문한 경우에는 연구의 목적을 설명한 후 동의서를 작성하게 하였으며, 기본정보조사지, K-ITC, SELSI, DEP를 양육자가 직접 읽고 완료하게 하였다. 양육자가 각 검사지를 작성하는 중에 질문이 있는 경우에는 검사자가 내용을 다시 설명하여 검사지를 작성하게 하였다. 검사자가 직접 방문이 어려운 경우에는 동의서를 포함한 모든 검사 자료와 검사실시 절차를 요약한 참고자료를 우편을 통해 발송하여 자료를 수집하였다. 우편을 통해 검사지를 발송하는 경우 양육자와의 전화 통화를 통해 연구 목적을 설명한 뒤 동의서를 작성하게 하였으며, 전화로 검사 실시 방법에 대해 상세히 안내하였다. 우편 발송 시 반송 봉투를 함께 보내어 자료 수령 후 일주일 내에 검사지가 회수될 수 있도록 안내하였으며, 회수되지 않을 경우 개별적으로 연락하여 회수하였다. 검사지가 회수된 이후에 기록에 문제가 없는지 점검한 뒤, 기록이 정확하지 않거나 불분명한 경우에는 전화로 확인하여 보완하였으며, 보완되지 않은 경우는 연구자료에서 제외하였다.

자료측정

K-ITC는 총 24문항 중 4문항을 제외한 20문항이 3점 척도(안함, 가끔, 자주)로 구성되어 각각 0, 1, 2점으로 채점하고, 그 외 문항은 4-5개의 답지로 구성되어 각각 0-4점 척도로 채점하도록 지침에 제시되어 있다. 총점의 최대 가능 점수는 57점이며, 세 구성영역별 최대 점수는 사회적 영역 26점, 발화적 영역 14점, 상징적 영역 17점이다. 채점에 오류가 없도록 대학원에서 언어병리학을 전공하는 석박사과정생이 2-3회 중복 체크하여 확인하였으며, 결과 입력 시에도 2명이 한 조를 이루어 입력하고, 2-3회 확인하여 오류가 없도록 하였다.

통계분석

K-ITC의 점수들이 언어발달지연과 전형적 발달 영아 집단을 유의하게 구분하여 주는지를 확인하기 위하여 K-ITC 총점과 세 구성 영역(사회적, 발화적, 상징적 영역) 점수에 대해 두 독립표본 t-test를 통해 차이검정을 실시하였고, K-ITC 점수들이 언어발달지연과 전형적 발달 영아를 변별해주는지를 확인하기 위하여 K-ITC 총점과 세 구성영역(사회적, 발화적, 상징적 영역) 점수에 대한 ROC (Receiver operation characteristic curve, ROC) 분석을 실시하였으며, AUC (Area under curve), 절단값(cut-off score), 민감도(sensitivity) 와 특이도(specificity), 타당도(validity)를 측정하였다.

연구결과

언어발달지연과 전형적 발달 영아의 K-ITC 총점 및 구성요인 점수 비교

K-ITC의 점수들이 언어발달지연과 전형적 발달 영아 집단을 유의하게 구분하여 주는지를 확인하기 위해 생활연령을 일치시킨 언어발달지연과 전형적 발달 영아의 K-ITC 총점과 세 구성영역 점수를 비교한 결과, 총점에서 집단 간 유의한 차이가 있었으며(t=3.748, p<.001), 세 구성영역 중 사회적(t=3.600, p<.001), 발화적 영역(t=5.226, p<.001)에서도 두 집단 간에 유의한 차이가 있었다. 유의한 차이가 있었던 총점과 사회적, 발화적 영역 모두 전형적 발달 집단이 언어발달지연 집단에 비해 유의하게 높은 점수를 보였다. 반면 상징적 영역은 전형적 발달 집단 점수가 언어발달지연 집단에 비해 높았으나 유의한 차이는 없었다(Table 3, Figure 1).

ROC 분석을 통한 민감도 및 특이도

K-ITC의 총점 및 세 구성영역 점수가 언어발달지연과 전형적 발달 영아 집단을 얼마나 잘 변별해내는지 살펴보기 위하여 ROC 분석을 실시한 결과는 Table 4Figure 2와 같다. 언어발달지연과 전형적 발달 영아 집단의 K-ITC 총점과 세 구성영역 점수의 ROC 곡선을 Figure 2에, 집단에 따른 각 점수의의 ROC 면적률(AUC), 절단값(cut-off), 민감도(sensitivity), 특이도(specificity) 및 타당도(validity)를 Table 4에 제시하였다.
K-ITC의 총점의 AUC는 .769 (p<.001), 세 구성영역 중 사회적 영역은 .765 (p<.001), 발화적 영역은 .792 (p<.001), 상징적 영역 점수는 .652 (p<.05)로 모두 유의한 정확도를 보였다. 민감도는 총점이 87.18%, 세 구성영역 중 사회적 92.31%, 발화적 94.87%, 상징적 82.05%로 모두 높게 나타났다. 특이도는 총점이 64.10%, 사회적 53.85%, 발화적 53.85%, 상징적 46.15%였다. 타당도는 총점이 75.64%로 가장 높았으며, 사회적 73.08%, 발화적 74.36%, 상징적 64.10%로 나타났다.

논의 및 결론

본 연구는 K-ITC가 언어발달지연 영아를 정확하게 선별해주는지 변별 타당도를 살펴보기 위해 생활연령을 일치시킨 언어발달지연과 전형적 발달 영아들에게서 측정된 K-ITC 점수들에 대해 집단 간 차이를 검정하고, ROC 분석 방법을 활용하여 각 점수들의 민감도와 특이도를 확인하였다.
먼저, 생활연령을 일치시킨 언어발달지연과 전형적 발달 영아의 K-ITC 총점과 세 구성영역 점수를 비교한 결과, 총점과 세 구성영역 점수 중 사회적, 발화적 영역 점수에서 유의한 차이가 있었으며, 언어발달지연 집단이 전형적 발달 집단에 비해 총점과 사회적, 발화적 영역 점수 모두에서 유의하게 낮은 점수를 보였다. 상징적 영역에서는 언어발달지연 집단이 전형적 발달 집단에 비해 평균 점수가 낮았으나 집단 간에 유의한 차이가 없었다.
본 연구에서 언어발달지연 집단은 SELSI의 통합언어연령과 표현언어연령이 -1 표준편차 이하에 해당하는 영아들이었다. SELSI에서는 평균점수로부터 -1 표준편차 이상에 해당하는 경우 정상발달, -1 표준편차와 -2 표준편차 사이에 해당하는 경우 약간지체(혹은 유의 요망), -2 표준편차 이하에 해당할 경우 언어발달지체로 판정한다. 본 연구에 참여한 39명의 언어발달지연 영아 중에서 SELSI의 통합언어발달연령이 -2 표준편차 이하에 해당하는 영아는 11명이었으며, 나머지 28명은 SELSI 통합언어발달연령이 -1 표준편차에서 -2 표준편차 사이에 해당하였다. 본 연구의 언어발달지연 영아의 대다수가 상대적으로 발달지연이 경미한 약간 지체 집단이었음에도 두 집단 간에 유의한 차이가 나타난 것은 K-ITC가 언어발달지연 정도를 유의미하게 구별해주는 검사임을 보여주는 결과이다.
세 구성영역 점수에서는 사회적, 발화적 영역에서만 유의한 차이가 있었으나, 상징적 영역에서는 유의한 차이가 없었다. 앞에서도 서술하였듯이 본 연구에 포함된 언어발달지연 집단은 SELSI의 통합언어연령과 표현언어연령을 기준으로 선별되었으며, 수용언어발달연령은 평균범위 이상에 해당하는 영아가 절반 이상이었다. 백분위로 측정된 결과에서도 통합점수와 표현언어점수의 백분위수는 각각 5.55, 6.09로 10백분위수 미만에 해당하였던 반면, 수용언어점수의 백분위 평균은 20.04로 평균 하 수준에 해당하였다(Table 1). K-ITC에서 사회적 영역은 정서 및 시선, 의사소통, 몸짓 세 요인을, 발화적 영역은 말소리와 낱말 요인을, 그리고 상징적 영역은 언어이해와 상징놀이 두 요인을 평가한다(Lee et al., 2023). 사회적 영역과 발화적 영역은 영아가 표현한 의도적 의사소통행동을 평가하는 반면, 상징적 영역은 어휘 이해나 놀이를 통해 관찰되는 상징 능력을 평가하기 때문에 수용언어능력과 더 관련성이 크다. 사회적, 발화적 영역에서는 집단간에 유의한 차이가 있었던 반면, 상징적 영역에서는 유의한 차이가 없었던 것은 이러한 점이 반영된 것일 수 있다.
종합하면 언어발달지연과 전형적 발달 집단의 K-ITC 비교 결과는 집단 간에 유의한 차이가 나타난 K-ITC 총점, 사회적 및 발화적 영역의 점수는 물론, 집단 간의 유의한 차이가 없었던 상징적 영역 점수 결과까지도 언어발달지연 집단을 잘 구분해줌을 알 수 있는 결과라 할 수 있다.
집단 간 차이와 더불어 K-ITC의 총점 및 세 구성영역 점수가 언어발달지연과 전형적 발달 영아 집단을 얼마나 잘 변별해내는지 살펴보기 위하여 ROC 분석을 실시한 후 K-ITC 각 점수들의 AUC, 민감도와 특이도, 타당도를 측정하였다. 먼저 AUC (Area under the curve)는 ROC 곡선의 아래 면적으로, 이 면적이 1에 가까울수록 분류 성능이 좋다는 것을 의미하며, 보통 .50부터 .70까지는 낮은 정확도, .70부터 .90까지는 중간 정확도, .90부터 1.00까지는 높은 정확도로 구분한다(Lee et al., 2020; Swets, 1996). 본 연구에서는 총점 AUC가 .769로 K-ITC 총점이 언어발달지연 영아를 중간 정도로 정확히 분류해 주는 것으로 나타났으며, 세 구성영역의 AUC도 사회적 영역 .765, 발화적 영역 .792, 상징적 영역 .692로 상징적 영역이 약간 미흡한 수준이지만 대체로 세 구성영역 점수 모두 언어발달지연 영아를 중간 정도로 정확하게 분류해주는 것으로 나타났다.
확률 곡선을 통해 계산된 모형이 진양성(true positive)과 진음성(true negative)을 얼마나 잘 분류했는지를 확인하여 민감도와 특이도를 측정하였다. 민감도는 총점을 기준으로 87.18% (사회적 92.31%, 발화적 94.87%, 상징적 82.05%), 특이도는 총점을 기준으로 64.10% (사회적 53.85%, 발화적 53.85%, 상징적 46.15%)로 나타났다. 의사소통장애에 대한 ITC의 예측타당도를 보고한 Wetherby 등(2003)은 본 연구와 마찬가지로 ITC의 의사소통장애에 대한 민감도와 특이도가 12-17개월에 각각 88.7%와 74.5%, 18-24개월에 85.7%, 76.9%로 민감도가 특이도에 비해 높은 것으로 보고하였으며, 스웨덴에서 진행된 아동발달 코호트 연구(Fäldt et al., 2021)에서도 ITC의 민감도는 .85, 특이도는 .59로 유사한 결과를 보고하였다. 본 연구에서 측정된 민감도는 선행 연구와 유사하였으며, Wetherby 등(2003)보다는 약간 낮고 특이도는 Fäldt 등(2021)보다는 약간 높았다. 선행 연구들은 ITC 점수와 CSBS DP 검사로 진단된 결과를 토대로 민감도와 특이도를 측정한 반면, 본 연구는 SELSI로 진단된 결과와 비교하였음에도 선행연구들과 유사한 결과를 나타낸 것은 의미가 있다. K-ITC의 높은 민감도는 언어발달지연이나 의사소통장애를 정확하게 선별해내는 것과 관련해 선별검사로써의 K-ITC의 유용성을 입증한 것이다. 다만, 상대적으로 낮은 특이도는 전형적 발달 영아를 언어발달지연으로 잘못 선별할 수 있는 가능성을 의미하므로 반드시 정확한 후속 심화 검사를 통해서 위양성(false positive) 오류 가능성을 줄여야 할 것이다. 선행연구에서는 구성영역 점수에 대한 민감도 및 특이도 결과를 보고하지 않았으나, 본 연구에서 측정한 구성영역 점수들의 민감도와 특이도는 특이도가 상대적으로 낮게 보고된 것 외에는 총점과 큰 차이가 없었다.
마지막으로 민감도와 특이도를 모두 반영하여 측정한 타당도는 총점 기준으로 75.64% (사회적 73.08%, 발화적 74.36%, 상징적 64.10%)로 대체로 높은 타당도를 보였다. 두 집단 간의 점수차가 유의하지 않았던 상징적 영역의 타당도가 상대적으로 약간 낮았으나 총점이나 사회적, 발화적 영역과 큰 차이를 보이지는 않았다. 이러한 결과는 언어발달지연 선별검사로서 K-ITC가 비교적 타당성을 갖춘 검사임을 보여 준다.
본 연구를 통하여 K-ITC가 언어발달지연 영아 선별검사로써 높은 민감도를 갖고 있으며, 언어발달지연을 유의하게 선별해 주는 타당도를 갖춘 검사임을 확인하였다. 이미 K-ITC는 표준화 연구를 통해 신뢰도와 타당도가 보고된 바 있다(Lee et al., 2023). 본 연구는 그에 더하여 K-ITC가 언어발달지연 영아를 매우 높은 수준으로 선별해준다는 것에 대한 예측 타당도를 입증하였다. 그동안 ITC는 자폐스펙트럼장애와 같이 상대적으로 장애가 심하며, 언어만이 아니라 의사소통 영역에서도 주된 결함을 보이는 발달장애 아동들을 대상으로 민감도와 특이도가 보고되어 왔는데(Borkhoff et al., 2022; Fäldt et al., 2021; Wetherby et al., 2003, 2004), 본 연구의 결과는 언어발달지연, 그 중에서도 다른 발달 문제가 두드러지지 않으면서 정도(severity)도 심하지 않은 영아들을 선별하는 데에도 K-ITC가 민감도를 갖춘 검사임을 확인하였다는 점에서 의의가 있다. K-ITC가 선행연구에서 보고한 외국의 사례에서와 같이 영유아 공중보건을 목적으로 한 조기 선별 사업이나 대규모 코호트 연구에서 의미 있게 활용될 수 있을 것이다.

Figure 1.
K-ITC total and three composite scores between TD and DLD groups.
TD=typical development; DLD=developmental language delay.
csd-29-3-495f1.jpg
Figure 2.
ROC curve of the K-ITC total and three composite scores between TD and DLD groups.
TD=typical development; DLD=developmental language delay.
csd-29-3-495f2.jpg
Table 1.
Participant characteristics
TD (n= 39) DLD (n= 39) t
Chronological month of age
 Mean (SD) 17.33 (6.33) 17.33 (6.33) .000
 Range (mo) 6-24 6-24
Sex (boy:girl) 29:10 24:15
SELSI language age (mo)
 Receptive language 20.54 (8.34) 14.97 (7.71) 3.059**
 Expressive language 20.21 (8.07) 12.26 (5.82) 4.989***
 Combined language 20.46 (8.17) 13.51 (6.57) 4.140**
SELSI (%ile)
 Receptive language 75.67 (26.73) 20.04 (19.79) 10.445***
 Expressive language 71.17 (23.88) 5.55 (5.34) 16.743***
 Combined language 75.01 (21.31) 6.09 (4.76) 19.716***
DEP Total score (%ile) 80.25 (15.19) 46.84 (22.61) 7.660***

Values are presented as mean (SD).

TD= typical development; DLD=developmental language delay; SELSI=Sequenced of language scale for infants (Kim et al., 2003); DEP=Development assessment for the early intervention planning (Jang et al., 2011).

** p < .01,

*** p < .001.

Table 2.
Construction and modifications of the K-ITC
Composite Cluster Number of items Modification in K-ITC
Social Emotion & eye gaze 4 Non
Communication 4 Non
Gestures 5 Non
Speech Sounds 3 #16- Change the example words that contain the specific consonant to Korean words
Words 2 #17- Change the example of the expressive word to Korean word
Symbolic Understanding 2 Non
Object use 4 Non
Table 3.
Comparison of the K-ITC total and three composite scores between TD and DLD groups
TD (n = 39) DLD (n = 39) t
Total 46.77 (12.03) 35.49 (14.45) 3.748***
 Social 23.28 (4.38) 18.54 (6.97) 3.600***
 Speech 10.41 (3.97) 5.85 (3.74) 5.226***
 Symbolic 13.08 (4.38) 11.10 (4.65) 1.930

TD= typical development; DLD= developmental language delay.

*** p < .001.

Table 4.
ROC analysis of the K-ITC total and three composite scores between TD and DLD groups
AUC Cut-off value Sensitivity (%) Specificity (%) Validity (%)
Total .769*** 48.5 87.18 64.10 75.64
 Social .765*** 25.5 92.31 53.85 73.08
 Speech .792*** 11.5 94.87 53.85 74.36
 Symbolic .652* 15.5 82.05 46.15 64.10

TD= typical development; DLD= developmental language delay.

* p < .05,

*** p < .001.

REFERENCES

American Educational Research Association; American Psychological Association; National Council on Measurement in Education. (2014). Standards for educational and psychological testing Washington, DC: American Educational Research Association.

Borkhoff, C. M., Atalla, M., Bayoumi, I., Birken, C. S., Maguire, J. L., & Parkin, P. C. (2022). Predictive validity of the Infant Toddler Checklist in primary care at the 18-month visit and developmental diagnosis at 3-5 years: a prospective cohort study. BMJ Paediatrics Open, 6(1), 1–8.
crossref pmid pmc
Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The concept of validity. Psychological Review, 111(4), 1061–1071.
crossref pmid
Chambers, N., Stronach, S. T., & Wetherby, A. M. (2016). Performance of South African children on the Communication and Symbolic Behavior Scales-Developmental Profile (CSBS-DP). International Journal of Language & Communication Disorders, 51, 265–275.
crossref pmid
Dahlberg, A., Levin, A., & Fäldt, A. E. (2024). Implementation of the Infant-Toddler Checklist in Swedish child health services at 18 months: an observational study. BMJ Paediatrics Open, 8(1), e002406.
crossref pmid pmc
Eadie, P. A., Ukoumunne, O., Skeat, J., Prior, M. R., Bavin, E., Bretherton, L., & Reilly, S. (2010). Assessing early communication behaviours: structure and validity of the Communication and Symbolic Behaviour Scales-Developmental Profile (CSBS DP) in 12-month-old infants. International Journal of Language & Communication Disorders, 45(5), 572–585.
crossref pmid
Eun, B., Kim, S., Kim, Y., Kim, J., Moon, J., Park, S., ..., & Chung, H. (2007). Introduction to national health screening program for infant and children. Journal of Korea Child Neurology Society, 15, 142–147.

Fäldt, A., Fabian, H., Dahlberg, A., Thunberg, G., Durbeej, N., & Lucas, S. (2021). Infant‐Toddler Checklist identifies 18‐month‐old children with communication difficulties in the Swedish child healthcare setting. Acta Paediatrica, 110(5), 1505–1512.
crossref pmid pmc
Filipe, M. G., Severino, C., Vigário, M., & Frota, S. (2023). Adaptation and validation of the European Portuguese Communication and Symbolic Behaviour Scales Developmental ProfileTM (CSBS DPTM) Infant-Toddler Checklist. International Journal of Language & Communication Disorders, 59(1), 223–233.

Heo, K. H., Squires, J., Lee, S. Y., & Lee, J. S. (2006). Korean ages and stages questionnaires (K-ASQ) Seoul: Seoul community rehabilitation center.

Jang, H. S., Seo, S. J., & Ha, J. Y. (2011). Developmental assessment for the early intervention program planning (DEP) Seoul: Hakjisa.

Kim, S. W., Jeon, H. R., Park, E. J., Kim, H. I., Jung, D. W., & Woo, M. R. (2014). The usefulness of M B CDI-K short form as screening test in children with language developmental delay. Annals of Rehabilitation Medicine, 38(3), 376–380.
crossref pmid pmc
Kim, Y. T., Kim, K. H., Yoon, H. R., & Kim, H. S. (2003). Sequenced language scale for infants (SELSI) Seoul: Special Education Publishing.

Lee, M., Choi, E. J., & Kim, Y. T. (2020). Sensitivity and specificity of writing assessment using spelling scoring metrics. Journal of Speech-Language & Hearing Disorders, 29(2), 47–55.
crossref
Lee, Y. (2011). The relationships among language, communicative abilities and motor, cognitive, and socio-emotional development in toddlers with language delays. Korean Journal of Communication & Disorders, 16(1), 1–12.

Lee, Y. (2019). Communication disorders in infant and toddlers: Development, assessment, and intervention Seoul: Hakjisa.

Lee, Y., Lee, H., & Choi, J. (2018). A study of validity and reliability of the CSBS DP behavior sample in Korean toddlers. Communication Sciences & Disorders, 23(2), 539–548.
crossref
Lee, Y., Choi, J., & Lee, H. (2021). The reliability and validity of the Korean edition of the CSBS DP caregiver questionnaire. Communication Sciences & Disorders, 26(1), 22–33.
crossref
Lee, Y., Lee, H., & Choi, J. (2023). Korean communication and symbolic behavior scales developmental profile (K-CSBS DP) manual (pp. 272–273). Seoul: InPsyt.

Lin, C. S., Chang, S. H., Cheng, S. F., Chao, P. C., & Chiu, C. H. (2015). The preliminary analysis of the reliability and validity of the Chinese Edition of the CSBS DP. Research in Developmental Disabilities, 38, 309–318.
crossref pmid
Lin, C. S., & Chiu, C. H. (2014). Adaptation of the Chinese edition of the CSBS DP: a cross-cultural comparison of prelinguistic development between Taiwanese and American toddlers. Research in Developmental Disabilities, 35(5), 1042–1050.
crossref pmid
Nurse, K. M., Janus, M., Birken, C. S., Keown-Stoneman, C. D., Omand, J. A., Maguire, J. L., ..., & TARGet Kids! Collaboration. (2023). Predictive validity of the infant toddler checklist in primary care at the 18-month visit and school readiness at 4 to 6 years. Academic Pediatrics, 23(2), 322–328.
crossref pmid
Pae, S., & Kwak, K. (2011). Korean MacArthur-Bates communicative development inventories (K M-B CDI) Seoul: Mindpress.

Pae, S., Yoon, H., & Seol, A. (2017). Korean adaptation of the LENATM developmental snapshot Seoul: Hakjisa.

Paul, R., & Norbury, C. (2012). Language disorders from infancy through adolescence (4th ed .). St. Louis, MO: Mosby.

Radecki, L., Sand-Loud, N., O’Connor, K. G., Sharp, S., & Olson, L. M. (2011). Trends in the use of standardized tools for developmental screening in early childhood: 2002-2009. Pediatrics, 128(1), 14–19.
crossref pmid
Reilly, S., Bavin, E. L., Bretherton, L., Conway, L., Eadie, P., Cini, E., ..., & Wake, M. (2009). The Early Language in Victoria Study (ELVS): a prospective, longitudinal study of communication skills and expressive vocabulary development at 8, 12 and 24 months. International Journal of Speech-Language Pathology, 11(5), 344–357.
crossref
Rescorla, L. (2002). Language and reading outcomes to age 9 in late-talking toddlers. Journal of Speech, Language, & Hearing Research, 45(2), 360–371.
crossref pmid
Rescorla, L. (2005). Age 13 language and reading outcomes in late-talking toddlers. Journal of Speech, Language, & Hearing Research, 48(2), 459–472.
crossref pmid
Rescorla, L. (2009). Age 17 language and reading outcomes in late-talking toddlers: Support for a dimensional perspective on language delay. Journal of Speech, Language, & Hearing Research, 52(1), 16–30.
crossref pmid
Sobieski, M., Wrona, S., Flakus, M., Pierchała, K., Sobieska, A., Podgórska, K., ..., & Bujnowska-Fedak, M. M. (2024). Reliability and validity of the Polish version of Communication and Symbolic Behaviour Scales-Developmental Profile-Infant-Toddler Checklist. Research in Autism Spectrum Disorders, 117, 102454.
crossref
Swets, J. A. (1996). Signal detection theory and ROC analysis in psychology and diagnosis: Collected papers Mahwah: Erlbaum.

Wetherby, A. M., Brosnan-Maddox, S., Peace, V., & Newton, L. (2008). Validation of the Infant—Toddler Checklist as a broadband screener for autism spectrum disorders from 9 to 24 months of age. Autism, 12(5), 487–511.
crossref pmid pmc
Wetherby, A. M., Goldstein, H., Cleary, J., Allen, L., & Kublin, K. (2003). Early identification of children with communication disorders: Concurrent and predictive validity of the CSBS Developmental Profile. Infants & Young Children, 16(2), 161–174.
crossref
Wetherby, A. M., & Prizant, B. M. (2003). Communication and symbolic behavior scales developmental profile (CSBS DP) Baltimore: The Brookes Publishing.

Wetherby, A. M., Watt, N., Morgan, L., & Shumway, S. (2007). Social communication profiles of children with autism spectrum disorders late in the second year of life. Journal of Autism & Developmental Disorders, 37, 960–975.
crossref pmid
Wetherby, A. M., Woods, J., Allen, L., Cleary, J., Dickinson, H., & Lord, C. (2004). Early indicators of autism spectrum disorders in the second year of life. Journal of Autism and Developmental Disorders, 34, 473–493.
crossref pmid
TOOLS
PDF Links  PDF Links
PubReader  PubReader
ePub Link  ePub Link
Full text via DOI  Full text via DOI
Download Citation  Download Citation
Supplement  Supplement
  Print
Share:      
METRICS
0
Crossref
0
Scopus
505
View
51
Download
Editorial office contact information
Department of Speech Pathology, College of Rehabilitation Sciences, Daegu University,
Daegudae-Ro 201, Gyeongsan-si, Gyeongsangbuk-do 38453, Republic of Korea
Tel: +82-502-196-1996   Fax: +82-53-359-6780   E-mail: kjcd@kasa1986.or.kr

Copyright © by Korean Academy of Speech-Language Pathology and Audiology.
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Developed in M2PI