우리말 조음·음운평가-2 (U-TAP2) 개발을 위한 타당도 및 신뢰도 분석
Validity and Reliability Analyses for the Development of Urimal Test of Articulation and Phonology-2
Article information
Abstract
배경 및 목적
본 연구는 만 2세 후반에서 7세 아동의 조음음운 능력을 평가하기 위해 현재 개발 중인 U-TAP2의 타당도 및 신뢰도를 분석하기 위한 것이다.
방법
서울과 경기, 충청도, 경상도, 전라도, 제주도에 거주하는 아동 616명(예비검사 30명, 규준검사 616명)을 대상으로 U-TAP2 검사를 실시하였다. 타당도의 검증을 위해 내용타당도와 구인타당도, 공인타당도, 발달적 타당도를 평가하였고, 신뢰도의 검증을 위해 문항내적일치성 신뢰도와 반분신뢰도, 검사-재검사 신뢰도를 평가하였다.
결과
내용타당도는 단어수준에서 평균 4.52점, 문장수준에서 평균 4.49점으로 검사내용의 적절성이 ‘약간 그렇다’로 평가되었고, 단어와 문장 수준에서 자음정확도와 주요 측정치 간의 구인타당도 또한 유의한 수준으로 나타났다. U-TAP2와 U-TAP1의 측정치 간에 유의미한 상관을 나타내 공인타당도가 높은 것으로 나타났으며, 연령에 따라 단어와 문장 수준의 자음정확도가 유의한 차이를 나타내 발달적 타당성이 있는 것으로 측정되었다. 단어와 문장 수준의 문항내적일치성 신뢰도, 반분신뢰도와 검사-재검사 신뢰도도 유의미하게 높은 것으로 평가되었다.
논의 및 결론
U-TAP2는 조음음운 능력을 평가하는 공식적인 검사도구로서 타당도와 신뢰도가 높은 편이며, 조음음운 능력의 발달적 특성 및 추이를 파악하는 데 유용한 정보를 제공할 수 있다.
Trans Abstract
Objectives
This study is to investigate the validity and the reliability of Urimal Test of Articulation and Phonology-2 (U-TAP2). U-TAP2 has been developed to assess 2- to 7-year-old children’s phonological ability. U-TAP2 consists of two levels: word and sentence.
Methods
Six hundred and sixteen children participated in this study. For content validity, a 5-score-scale was used for each item and speech-language pathologists served as assessors. The correlations among measured variables—U-TAP percentage of correct consonants (PCC), PCC, phonological mean length of utterance (PMLU), proportion of whole-word proximity (PWP), proportion of whole-word correctness (PWC)—were analyzed for construct validity.
Results
The results were as follows. For content validity, the mean scores of word and sentence levels were 4.52 and 4.49, respectively. For concurrent validity, the correlation coefficient between the results of the U-TAP2 and the U-TAP was calculated. It also showed significant correlation. PCCs of word and sentence levels were significantly different by age. The internal consistency (Cronbach’s α) was greater than .9 and the split-half reliability and test-retest reliability were also significantly high.
Conclusion
The results of this study indicate that the U-TAP2 is a valid and reliable assessment tool for children’s phonological ability and that it can provide useful information in analyzing the developmental characteristics of phonological abilities and in intervening the children who have phonological problems.
우리말 조음 · 음운평가(Urimal-Test of Articulation and Phonology, U-TAP; Kim & Shin, 2004)는 30개의 낱말 그림을 보고 이름을 말하는 과정을 통해 단어의 어절 내 어두초성, 어중초성, 어말종성으로 이루어진 43개의 자음과 10개의 단모음을 검사하여 자음정확도 및 모음정확도를 산출할 수 있게 제작된 검사도구이다. U-TAP은 서울과 대구 지역에서 만 2세부터 6세까지의 아동을 대상으로 말소리 산출능력을 평가하여 발달 규준을 제시하였으며, 단어 수준뿐만 아니라 동일한 낱말에 대하여 16개의 문장 맥락에서도 검사할 수 있도록 제작되었다. 또한 발달적 오류패턴에 기반한 간략 음운변동 분석이 가능하다. U-TAP은 비교적 짧은 시간 안에 검사실시가 가능하며 낱말분석표와 문장분석표의 두 가지 상황에서의 아동의 발음을 쉽게 비교할 수 있게 고안되었다. 또한 표준화된 규준을 제공하기 때문에 아동이 습득한 개별음소분석과 음소정확도, 음운변동 출현율을 또래와 비교할 수 있게 하였다(Kim & Shin, 2004; Kim, Shin, & Kim, 2014). 이러한 장점으로 인하여 U-TAP은 아동과 치료사에게 가장 쉽고 간단하다는 평가를 받으며 약 10여 년 이상 임상현장에서 널리 사용되고 있다(Kim MJ, 2016; Kim & Lee, 2011).
그러나 U-TAP이 출간된 후 수년이 지남으로써 변화하는 말·언어 환경과 새롭게 축적되는 말소리 발달과 장애 분야의 연구결과들을 반영할 수 있도록 검사도구의 개정 및 개발의 필요성이 대두되었다. 첫째, 약 10여 년의 시간이 흐르면서 달라진 풍속을 고려하여 명명일치도, 그림타당도 등을 고려한 현실적이고 대표적인 그림자극의 개발 및 보완이 필요하다. 둘째, 기존 도구에서는 만 2세부터 6세까지 1년 단위의 표준화 자료를 제공하였다면, 2세 후반부터 7세까지 말소리 발달 시기의 전 연령대를 포함하고 특히 2세 후반-4세는 6개월 단위로 구분, 말소리 초기발달단계를 세분화하여 보다 구체적이고 풍부한 자료를 제공할 필요성이 있다(Kim SJ, 2016; Lewis et al., 2015). 셋째, 기존의 서울 및 대구지역의 아동을 대상으로 표집의 범위가 제한된 점을 보완하여 전국단위의 대규모 규준을 구축함으로써 결과에 대하여 보다 타당한 정보를 제공할 필요성이 있다(Jo & Huh, 2017). 넷째, 단순한 단어수준의 검사를 넘어서서 다음절 단어 및 문장 수준의 표준화를 보완· 추가하여 보다 풍부한 말소리 발달의 정보를 구축할 필요성이 있다. 자발화 분석은 보다 면밀하고도 자연스러운 아동의 말소리 산출에 관한 정보를 줄 수 있으나 임상현장에서 적용하기에는 많은 시간과 노력이 소요된다는 한계점이 있다. 그러나 그림자료를 보고 목표문장을 유도하거나 따라 말하게 하여 목표음소를 검사하는 것은 이에 대한 대안이 될 수 있다(Kim, 2016; Kim & Shin, 2015). 자발화와 유사할 뿐 아니라, 문맥효과 관찰, 음소산출의 변이성 관찰, 오류의 심각도, 말 명료도를 포함한 여러가지 정보를 얻을 수 있으며, 특히 다음절 단어에 관한 아동의 산출능력을 분석함으로써 아동의 작업기억, 문해력 발달, 어휘, 문법능력과 관련한 정보를 얻을 수 있다(Bar-ton-Hulsey, Sevcik, & Romski, 2018; Kim & Ha, 2014; Lewis et al., 2015; Masso, McLeod, Baker, & McCormack, 2016; McNeill, Wolter, & Gillon, 2017; Preston, Hull, & Edwards, 2013; Seo, Ko, Oh, & Kim, 2017; Waring, Eadie, Liow, & Dodd, 2018). 다섯째, 보다 다양한 말소리장애의 지표를 분석하고 각 지표 수치에 대한 표준화 작업을 실시하여 임상현장에서 중재계획을 세우는 데 실질적인 도움을 줄 수 있을 것이다(Masso, Baker, McLeod, & Wang, 2017; Preston et al., 2013).
이에 U-TAP의 제한점들을 보완한 U-TAP2가 개발되었는데(Kim, Shin, Kim, & Ha, in press), 이 개정판에서는 기존에 사용하던 음소정확도와 음운변동 외에 phonological mean length of utterance (PMLU), proportion of whole-word proximity (PWP), proportion of whole-word correctness (PWC)와 같은, 음운 문헌에서 제안되고 있는 다양한 분석 지표들이 포함되었다(Ingram, 2002; Ingram & Ingram, 2001; Seok, 2006; Yoon, Kim, & Kim, 2013). 우선 평균음운길이(PMLU)는 단어수준의 복잡성을 반영하는 지표로서 아동이 산출한 단어의 분절음 수와 아동이 정확하게 산출한 자음의 수로 계산한다. 또한, 단어단위 근접률(PWP)은 아동이 목표단어와 유사하게 산출한 정도를 보여주는 지표로 성인이 산출한 PMLU와 아동이 산출한 PMLU의 비율로 구할 수 있다. 단어단위 정확률(PWC)은 전체 단어 중에 정확하게 산출한 단어의 비율로 계산한다. U-TAP2에서는 이러한 지표들을 분석하기 위해 전산화 자동분석 프로그램(KSAT)을 개발하고 이와 연동하여 임상현장에서 짧은 시간 안에 효율적인 평가결과를 정리하고 중재계획을 세우는 데 보다 쉽고 간편하게 반영할 수 있도록 하였다. 본 연구에서는 이러한 필요성과 개선사항을 반영하여 개발한 우리말 조음 · 음운평가2 검사도구의 타당도 및 신뢰도 검증을 실시하고자 하였다(Kim, Song, Kim, & Kim, 2018; Kim, Pae, & Lee, 2005; Lee, Heo, & Jang, 2015). 타당도 검증을 위해 내용타당도, 구인타당도, 공인타당도, 발달적 타당도를 측정했으며(Kim, 2000), 신뢰도 검증을 위해 문항내적일치성, 반분신뢰도, 검사-재검사 신뢰도로 나누어 살펴보았다(Kim, Hong, & Kim, 2009).
연구방법
연구대상
표준화 규준을 위한 연구 대상
U-TAP2 표준화 과정에는 만 2세 후반부터 7세까지 말소리 발달 시기에 해당하는 전 연령대의 아동이 참여하였다. 특히 2세 후반에서 5세는 6개월 단위로 구분하여 검사하였다. 전국 단위의 대규모 규준을 구축하기 위해 서울, 경기, 충청, 경상, 전라, 제주 등의 지역에 거주하며, 수용 ·표현어휘력검사(REVT; Kim, Hong, Kim, Jang, & Lee, 2009) 결과, 수용어휘력이 -2 SD 이상인 아동들을 대상으로 선정하였다. 검사 참여인원은 예비연구에 30명, 규준대상에 651명이었으나 U-TAP2 자음정확도 검사 결과, 극단치(outliers)를 나타낸 35명을 제외하여 총 616명을 선정하였다. 검사 대상자의 지역, 연령 및 성별 분포는 Tables 1, 2와 같다.
Number of participants by region
Number of participants by age and gender
신뢰도 및 타당도 연구를 위한 대상
신뢰도 및 타당도 검증을 위한 참여자들은 다음과 같다. 우선, 타당도 검증을 위해서 언어치료학과 교수 13명이 내용타당도 과정에 참여하였고, 구인타당도 분석은 표준화 수집에 참여한 616명, 전체 아동의 자료가 사용되었으며, 공인타당도 검증을 위해서는 34명의 아동들이 참여하였다. 또한 문항내적일치성 및 반분신뢰도 검증을 위해서는 120명의 아동이, 검사-재검사 신뢰도 검증을 위해서는 41명의 아동들이 참여하였다.
검사 항목의 개발
단어수준 검사 항목
단어 내의 어두초성, 어중초성, 어중종성, 어말종성의 네 위치에서 우리말 19개의 자음과 7개의 단모음을 타당하게 평가할 수 있는 단어의 선정을 위해 다음과 같은 절차를 거쳤다(Kim, Ha, Kim, & Shin, 2018). 첫째, 53명의 언어치료학과 대학원생을 대상으로 기존 우리말 조음 · 음운평가의 단어에 대한 문항타당도 조사를 실시한 후 1차 예비단어 45개를 선정하였다. 둘째, 1차 예비항목에 대한 예비그림을 제작한 후 언어치료학과 학부생 52명을 대상으로 각 그림에 대한 명명일치도(name agreement)를 조사하였다. 명명일치도가 낮은 항목을 제외하고 30문항으로 2차 예비항목을 선정하였다. 셋째, 2차 예비항목에 대해 말소리장애 전문가 13명을 대상으로 전문가(내용)타당도 평가를 실시하였다. 마지막으로 2차 예비항목에 대해 말소리장애 전공 교수 4명을 대상으로 포커스 그룹인터뷰를 실시하였다. 인터뷰 결과를 바탕으로 3차 예비단어(후보항목 6개 포함) 34개를 선정하였고, 예비실험을 실시하여 30개의 최종항목을 선정하였다. 단어수준 검사의 예는 Appendix 1에 제시하였다.
문장 수준 검사 항목
후행하는 모음 문맥을 전설모음, 후고설 모음, 후저설 모음으로 다양하게 구성하여 모든 자음이 3회 이상 산출되어 변이성과 문맥의 영향을 관찰할 수 있도록 예비문장을 구성하였다(Kim et al., 2018). 이러한 예비문장에 대해 말소리장애 전공 교수 4명을 대상으로 포커스 그룹 인터뷰를 실시하였다. 인터뷰 결과를 바탕으로 2차 예비문장을 선정하였고, 연구진과 전문가 1명의 심층 토의를 거쳐 최종적으로 11개의 문장 항목을 선정하였다. 선정된 문장에 대해 9명의 말소리장애 전문가를 통해 내용타당도 평가를 실시하였다. 문장수준 검사의 예는 Appendix 1에 제시하였다.
그림 제작
단어와 문장 항목에 해당하는 그림을 전문가에게 의뢰하여 제작한 후, 그림 시안에 대한 연구자 간의 토론, 100여 명의 대학원생들의 의견 수렴, 예비검사를 실시할 때 아동들의 반응 등을 반영하여 여러 차례의 수정 과정을 거쳐 제작하였다(Kim et al., 2018). 그림의 예는 Appendix 2에 제시하였다.
검사 방법
U-TAP2에서 단어수준 검사는 U-TAP과 마찬가지로 그림을 보여준 다음 아동이 자발적으로 그림의 이름을 말하는 이름대기 과제 방식이다. 문장수준 검사는 그림을 보여주고 4어절 내외로 구성된 문장을 들려준 후, 그대로 따라 말하게 하는 과제이다. 문장수준의 검사는 3세부터 실시하며, 문장자극을 제시할 때는 먼저 전체 문장을 1회 들려주고 따라 말하도록 유도하였다. 하지만 아동이 전체 문장을 따라 말하는 데 어려움이 있을 경우 2어절씩 끊어서 들려줄 수 있다(Kim et al., 2018). 2어절씩 따라 말하기도 어려워할 경우 3세는 아동이 말한 자발화를 그대로 분석하고, 4세 이상의 경우에는 어절 단위로 끊어서 따라 말하게 하였다.
검사는 언어병리학을 전공하고 있는 대학원생이나 석사학위 소지자에 의해 진행되었고, 검사자에게는 2차에 걸쳐서 검사자 훈련을 실시하였다. 1차 훈련은 검사 내용에 대한 소개 및 실시 방법에 대한 강의로 이루어졌고, 2차 훈련에서는 실제 검사를 실시한 후 질문이나 피드백을 받는 방식으로 진행되었다.
검사는 보호자의 동의를 받고 아동이 다니는 어린이집, 유치원 및 학교에서 대부분 진행하였고, 일부 아동은 가정을 직접 방문하여 검사를 실시하였다. 검사는 대부분 1회 방문을 통해 진행되었으며, 아동의 주의력이나 건강 상태, 혹은 어린이집, 유치원 및 학교 일정에 따라 2회로 나눠 실시하기도 했다.
검사의 실시 및 채점
아동과 친밀감을 형성한 후, 검사자가 검사에 대해 소개하고, U-TAP, U-TAP2, 수용 ·표현어휘력검사(REVT-R) 등을 실시하였다. 반복으로 인한 학습효과를 감안하여 U-TAP과 U-TAP2 사이에 REVT-R 검사를 실시하였다.
모든 항목에 대한 아동의 반응을 기록지에 적고, 2세 후반 아동의 반응은 동영상으로 촬영하고, 3세 이상 아동들은 녹음하여 일주일 이내에 전사하여 전산화 자동분석 프로그램(KSAT)에 입력한 후 분석하였다.
전체 데이터 중 20명의 자료를 무작위로 선택하여 석사과정에 재학 중인 대학원생 2명 간 신뢰도를 산출하였다. 실제 평가를 실시하고, 발화 자료 분석기준과 지침을 충분히 이해한 후에 단어 및 문장 수준에서 신뢰도 평가를 실시하였다. 평가자 간 신뢰도는 평가결과가 일치한 항목 수를 전체 항목 수로 나눈 다음 100을 곱해 환산하였다. 그 결과, U-TAP2의 단어 및 문장 수준에서 조음정확도에 따른 신뢰도는 98%로 나타났다.
타당도 및 신뢰도 분석
검사의 타당도를 검증하기 위해 내용타당도와 구인타당도, 그리고 공인타당도 및 발달적 타당도를 분석하였다. 단어와 문장 검사의 내용타당도를 살펴보기 위해 경력 10년 이상의 말소리장애 분야 전문가 또는 말소리장애 전공 교수 13명에게 5점 척도의 항목별 내용타당도 설문지를 배포 및 회수하여 분석하였다. 설문지는 5점 척도(1점=전혀 그렇지 않다, 2점=그렇지 않다, 3점=보통이다, 4점= 약간 그렇다, 5점= 매우 그렇다)에 따라 내용의 적절성을 평가하여 단어 및 문장 검사의 평균값을 산출하여 검증하였다. 단어검사는 낱말 내 각 조음위치(어두초성, 어중초성, 어중종성, 어말종성)에서 조음방법(파열음, 마찰음, 파찰음, 비음, 유음)에 따라 음소들을 분류하여 단어선정(30단어)에 대한 내용타당도를 평가하였고, 문장검사는 전체 11개 문장에 대한 5가지 준거 질문을 통해 내용타당도를 평가하였다.
구인타당도는 생활연령에 따라 2-5세(473명)와 6-7세(143명)의 2집단으로 분류하여 각 집단 내 U-TAP2의 단어와 문장 수준에서의 조음 및 음운 측정치 간의 상관분석을 통해 검증하였다. 단어수준에서 목표음소 자음정확도(PCC)와 전체 자음정확도(total PCC), 평균음운길이(PMLU), 단어단위 정확률(PWC), 단어단위 근접률(PWP)의 5가지 측정치를 산출하고, 문장수준에서 total PCC와 PMLU, PWC, PWP의 4가지 측정치를 산출하여 전체 9가지 조음 및 음운 수치 간의 상관관계를 살펴보았다.
공인타당도는 서울 및 경기지역에 거주하는 34명의 아동을 대상으로 U-TAP과 U-TAP2의 단어 및 문장 수준에서 각 변수 간의 상관계수를 산출하여 검증하였다. 단어수준에서 두 검사의 목표음소 PCC와 total PCC, PMLU, PWC, PWP의 5가지 측정치 간의 상관관계를 살펴보았고, 문장수준에서 두 검사의 total PCC와 PMLU, PWC, PWP의 4가지 측정치 간의 상관관계를 살펴보았다. 또한 연령(6개 연령집단: 2;6-2;11세, 3세, 4세, 5세, 6세, 7세)에 따른 차이분석을 통해 발달적 타당성을 분석하였다.
검사의 신뢰도는 검증하기 위해 문항내적일치성 신뢰도, 반분신뢰도, 그리고 검사-재검사 신뢰도를 살펴보았다. 문항내적일치성 신뢰도는 각 지역에 거주하는 120명의 아동을 생활연령에 따라 2-5세(59명)와 6-7세(61명)의 2집단으로 나누어 단어수준의 목표음소 PCC와 문장수준의 전체 PCC에 관한 내적일관성을 Cronbach’ s α를 통해 측정하였다.
반분신뢰도는 각 지역에 거주하는 120명의 아동을 2-5세(59명)와 6-7세(61명)의 2집단으로 나누어 Spearman-Brown의 공식에 따라 단어 및 문장 수준의 PCC에 관한 반분신뢰도를 측정하였다.
검사-재검사 신뢰도는 서울 및 경기지역에 거주하는 2-7세의 아동 41명을 대상으로 1차와 2차에 걸쳐 동일검사자가 U-TAP2 검사를 실시하여 두 검사결과 간의 상관계수를 산출하여 검증하였다. 1차와 2차 검사의 간격은 1주에서 2주 사이로 제한하였고, 2세 아동(1명)은 문장검사를 실시하지 않으므로 문장분석에서 제외하였다. 단어수준에서 1차와 2차 검사의 목표음소 PCC와 total PCC, PMLU, PWC, PWP의 5가지 측정치 간의 상관관계를 살펴보았고, 문장수준에서 1차와 2차 검사의 total PCC와 PMLU, PWC, PWP의 4가지 측정치 간의 상관관계를 살펴보았다.
본 연구의 모든 통계처리는 SPSS version 24 프로그램을 이용하였다.
연구결과
타당도
내용타당도(content validity)
U-TAP2의 각 문항들이 조음 및 음운을 평가하기에 적합한 내용으로 구성되었는지를 확인하기 위하여 전문가 집단(13명)을 통한 내용타당도를 검증하였다. 단어검사에서 어두초성에 위치한 18개 음소의 내용타당도는 평균 4.70점, 어중초성의 17개 음소는 평균 4.44점, 어중종성의 6개 음소는 평균 4.37점, 어말종성의 7개 음소는 4.56점으로 조음 및 음운을 검사하기 위해서 선정된 단어들이 모두 ‘약간 그렇다(전체평균 4.52점)’로 평가되었다(Figure 1). 문장검사는 5가지 준거 중 (1) ‘자극문장들에 목표음소들이 모두 포함되어 있습니까?’라는 질문에 전문가 집단 모두 5점으로 ‘매우 그렇다’로 평가하였고, (2) ‘모음문맥을 다양하게 하여 자극문장을 구성하였습니까?’라는 질문에 평균 4.67점, (3) ‘자극문장들의 길이가 따라 말하기에 적절합니까?’라는 질문에 평균 3.89점, (4) ‘그림이 자극문장을 유도하기에 적절합니까?’라는 질문에 평균 4.33점, (5) ‘자극문장들의 내용과 구성이 적절합니까?’라는 질문에 평균 4.56점을 나타내 문장수준에서 조음 및 음운을 검사하기 위하여 개발된 문장들이 ‘약간 그렇다(전체평균 4.49점)’로 평가되었다(Figure 2).
Content validity of word-level test in the Urimal Test of Articulation and Phonology-2 (U-TAP2).
Content validity of sentence-level test in the Urimal Test of Articulation and Phonology-2 (U-TAP2).
구인타당도(construct validity)
구인타당도 검증 결과, 2-5세 아동의 경우, 단어수준의 목표음소 PCC가 문장수준의 PMLU를 제외한 모든 단어 및 문장 측정치들과 유의한 상관관계를 보였고 이 중 단어 측정치들과의 상관계수가 문장 측정치들과의 상관계수보다 높게 나타났다. 특히, 문장 PMLU 는 모든 단어 및 문장 측정치들과 유의한 상관을 보이지 않았고, 문장 PWP는 문장 PMLU를 제외한 모든 측정치들과 유의한 상관을 보였으나 상관계수가 다른 값들보다 상대적으로 매우 낮았다. 6-7세 아동의 경우, 단어수준의 목표음소 PCC가 단어 및 문장의 모든 측정치들과 유의한 상관관계를 보였으나 2-5세 집단보다 낮은 상관을 나타냈다. 특히 문장 PMLU는 2-5세 집단과 달리 모든 측정치들과 유의한 상관을 보였고, 문장 PWP 또한 모든 측정치들과 유의한 상관을 보였으며 상관계수 또한 2-5세 집단보다 크게 증가하였다. 2-5세와 6-7세 집단의 단어와 문장 수준에서의 조음 및 음운 측정치들 간 상관분석 결과를 Table 3에 제시하였다.
Correlations of U-TAP2 measures at word and sentence levels in the age groups 2-5 and 6-7 years
공인타당도(concurrent validity)
공인타당도 검증 결과, 단어수준에서 U-TAP과 U-TAP2의 모든 측정치들의 상관계수는 .90 이상으로 매우 높은 상관을 보였고, U-TAP의 total PCC가 목표음소 PCC보다 U-TAP2 측정치들과 높은 상관을 보였다. 또한, 문장수준에서 U-TAP과 U-TAP 2의 측정치들의 상관계수는 .70-.93로 모두 높은 상관을 보였으나 단어수준과 비교하여 전체적으로 상관계수가 다소 감소하였다. 이 중 U-TAP 의 PWC와 U-TAP2 측정치들과의 상관계수가 가장 높게 감소하였다. 단어와 문장수준에서 U-TAP과 U-TAP2의 조음 및 음운 측정치 간의 상관분석 결과를 Tables 4, 5에 제시하였다.
Correlations between U-TAP and U-TAP2 measures at word level (N=34)
Correlations between U-TAP and U-TAP2 measures at sentence level (N=34)
발달적 타당도: 연령에 따른 차이 분석(age group analysis)
자음정확도(PCC)가 연령에 따라 차이를 나타내는지 살펴보기 위하여 단어와 문장 수준(2세 제외)의 PCC에 대하여 일원변량분석을 실시하였으며, 분석 결과는 Table 6에 제시하였다. 일원변량분석 결과, 단어와 문장 수준의 PCC는 연령에 따라 통계적으로 유의한 차이를 나타냈다. 즉, 연령이 높아질수록 단어와 문장 수준의 PCC는 유의하게 증가한다고 볼 수 있다. Tukey에 의한 사후분석을 실시한 결과, 단어수준에서는 발달적 집단이 4개, 문장수준에서는 3개로 형성되어 대체로 발달적 타당성을 나타내었다.
Difference analysis by age
신뢰도
문항내적일치성 신뢰도(internal consistency reliability)
문항내적일치성 신뢰도 검증 결과, 2-5세 아동의 경우, 단어수준의 목표음소 PCC는 .87로 높은 내적일치도를 보였고, 문장수준의 전체 PCC는 단어수준의 PCC보다 상승한 값인 .97로 매우 높은 내적일치도를 보였다. 6-7세 아동의 경우, 2-5세 집단과 동일한 형태로 단어수준의 목표음소 PCC가 .89로 높은 내적일치도를 보였고, 문장수준의 전체 PCC도 단어수준의 PCC보다 상승한 값인 .97로 매우 높은 내적일치도를 보였다. 또한, 6-7세 아동의 내적일치도는 2-5세 집단과 비교하여 단어와 문장 PCC 모두 증가하였다. 두 집단의 단어수준의 목표음소 PCC와 문장수준의 전체 PPC의 문항내적일치성 신뢰도를 Table 7에 제시하였다.
Internal consistency reliability of items (Cronbach's α)
반분신뢰도(split-half reliability)
Spearman-Brown 공식에 의한 반분신뢰도를 산출한 결과, 2-5세 아동의 경우, 단어수준의 목표음소 PCC는 .87로 높은 신뢰도를 보였고, 문장수준의 전체 PCC는 단어수준의 PCC보다 상승한 값인 .98로 매우 높은 신뢰도를 보였다. 6-7세 아동의 경우, 2-5세 집단과 동일한 형태로 단어수준의 목표음소 PCC가 .87로 높은 신뢰도를 보였고, 문장수준의 전체 PCC는 단어수준의 PCC보다 상승한 값인 .97로 매우 높은 신뢰도를 보였다. 그러나, 6-7세 아동의 반분신뢰도는 2-5세 집단과 비교하여 단어와 문장 PCC 모두 감소하였다. 두 집단의 단어수준의 목표음소 PCC와 문장수준의 전체 PPC 의 반분신뢰도를 Table 8에 제시하였다.
Split-half reliability (Spearman-Brown coefficient)
검사-재검사 신뢰도(test-retest reliability)
검사결과의 시간적 변화에 따른 안정성을 분석하기 위해 검사-재검사 신뢰도를 측정하였다. 그 결과, 단어수준에서 검사-재검사 상관계수는 .89-.93으로 높은 상관관계를 보였고, 문장수준에서 검사-재검사의 상관계수 또한 .91-.93으로 높은 상관관계를 보였다. 단어와 문장 수준에서 U-TAP2의 검사-재검사 신뢰도를 Table 9에 제시하였다.
Test-retest reliability of U-TAP2 at word and sentence levels
논의 및 결론
본 연구에서는 조음 · 음운능력의 발달 특성을 파악하고, 말소리장애 아동을 선별 및 평가하는 것을 목적으로 개발한 우리말 조음 · 음운평가-2 (U-TAP2) 도구의 타당도 및 신뢰도를 분석하였다. U-TAP2는 만 2세 후반에서 7세에 해당하는 아동을 대상으로 단어 및 문장 수준에서 말소리의 산출능력을 평가하는 도구이다. 아동의 말 산출을 유도하기 위해 단어수준에서는 자발화를, 문장수준에서는 전체 문장이나 어절 단위로 따라 말하도록 하였다. 또한 산출된 말소리를 전사하여 전산화된 자동분석프로그램(KSAT)에 입력하면 조음음운능력의 주요 측정치인 평균음운길이, 단어단위 근접률, 단어단위 정확률, 자음정확도 등을 파악할 수 있으며, 생략이나 대치 등에 의한 음운오류도 분석할 수 있다.
본 연구에서는 U-TAP2의 타당도를 검증하기 위해 내용타당도, 구인타당도, 공인타당도, 그리고 연령에 따른 발달적 타당도도 분석하였다. 첫째, 내용타당도는 전문가 집단을 대상으로 설문지 방법에 의해 측정하였으며, 전체 평균이 단어수준에서 4.52점, 문장수준에서 4.49점으로 문항들의 타당한 정도가 ‘약간 그렇다’의 수준을 보였다. 구인타당도는 U-TAP2의 단어와 문장수준에서의 조음 및 음운 측정치 간의 상관분석을 통해 검증하였으며, 단어와 문장 수준에서 자음정확도와 주요 측정치 간의 구인타당도는 2-5세 집단에서 문장 PMLU를 제외한 모든 지표에서 유의한 수준으로 나타났다. 공인타당도는 U-TAP2와 U-TAP의 측정치 간에 단어수준에서 .91-.98, 문장수준에서 .70-.93의 유의미한 상관을 보여 U-TAP2의 타당도가 매우 높은 것으로 나타났다. 또한 연령에 따라 단어와 문장 수준의 자음정확도가 유의한 차이를 나타내 발달적 타당도가 있는 것으로 측정되었다. 단어와 문장 수준의 문항내적일치성 신뢰도, 반분 신뢰도와 검사-재검사 신뢰도도 유의미하게 높은 것으로 평가되었다.
본 연구에서는 2-5세 집단의 문장수준에서 PCC와 PMLU, PWP 는 유의하지 않거나 유의하더라도 다른 지표에 비해 낮은 상관을 보였으나 6, 7세 집단에서는 모두 유의한 수준의 상관을 보이는 것으로 나타났다. 이는 연령에 따른 조음의 개인차와 변이성으로 설명해 볼 수 있을 것이다. 2-3세 아동 5명을 대상으로 자발화에서의 PCC와 단어단위 음운분석의 발달양상을 살펴본 종단연구에서는 이 연령대의 아동에게서 이미 3세 후반에 약 95%의 자음정확도에 도달하는 것과는 달리 PMLU, PWP, PWC는 평균값이 5세 이후까지도 점진적으로 발달하고 있으며 개인차가 큰 발달양상을 보였다고 보고하였다(Park & Yoon, 2016). 그러나 5-7세 아동을 대상으로 단어수준에서의 자음정확도와 단어단위 음운분석의 상관을 살펴본 Park과 Son (2012)의 연구와 2세 아동을 대상으로 단어수준에서의 자음정확도와 단어단위 음운분석을 살펴본 Park, Hwang과 Park (2011)의 연구에 의하면 PCC와 PMLU, PWP가 정적인 상관을 나타낸다고 했다. 즉, 비교적 어린 연령대인 3세 전후에 숙달에 이르게 되는 PCC와는 달리 PMLU, PWP는 만 5세 전후까지도 지속적인 발달이 이루어져 발달의 양상에서 차이가 있고, 단어수준과 자발화와 같은 더 긴 측정단위에서의 어린 아동의 수행양상에는 차이가 있음을 시사한다. 이와 관련하여 선행연구에서는 어린 연령일수록 발달의 개인차와 조음의 개별성을 고려하여 말소리 측정지표를 다양하게 병행하여 실시할 것을 권유하고 있다(Park & Son, 2012; Park & Yoon, 2016; Seok, 2006).
본 연구에서는 기존의 연구와 마찬가지로 2세 후반-7세 집단에서 단어와 문장 수준의 자음정확도가 연령에 따라 유의하게 차이가 있는 것으로 나타났다(Park & Son, 2012; Park & Yoon, 2016; Ha & Hwang, 2013). 분석 결과, 단어수준의 자음정확도는 2세 후반에서 4세까지는 평균 8.75% 포인트, 4세에서 5세는 5.7% 포인트, 5세에서 7세까지는 평균 .9% 포인트 정도로 증가폭이 감소하긴 하지만 7세까지는 꾸준히 증가하는 것을 볼 수 있었다. 이러한 조음음운 발달의 추이는 아동의 말소리 산출을 조기에 평가하여 중재할 필요성을 시사해 준다.
본 연구는 U-TAP2 개발을 위한 신뢰도 평가로 문항내적일치성 신뢰도와 반분신뢰도, 검사-재검사 신뢰도를 분석하였다. 문항내적일치성 신뢰도는 단어검사의 대표 측정치인 목표음소 PCC와 문장수준에서의 전체 PCC를 2-5세 아동과 6-7세 아동 집단으로 나누어 살펴보았다. 그 결과, 모든 집단 연령에서 Cronbach’ s α 값이 .87 이상으로 높은 내적일치도를 보여 U-TAP2의 PCC 측정 항목들의 신뢰성을 확보하였다. 이 중 문장의 전체 PCC가 단어의 목표음소 PCC보다 높은 내적일치도를 보였는데 이는 목표음소만을 분석 대상으로 하는 단어검사보다 전체음소를 분석 대상으로 하는 문장검사에서 아동의 조음 특성이 모두 반영된 결과로 유추해 볼 수 있다. 실제 아동의 조음 오류가 일관성 없이 나타나는 경우, 검사에서 분석하고자 하는 목표음소가 아닌 다른 음소에서 오류가 나타나면 오조음에도 불구하고 조음정확도 산출에 반영이 되지 않기 때문이다. 또한, 6-7세 아동의 내적일치도가 2-5세 집단과 비교하여 단어와 문장 PCC 모두 다소 증가하였는데, 이는 연령이 높아질수록 아동의 조음 패턴이 점점 더 일관되고, 안정화되는 경향에서 비롯된 것으로 사료된다.
반분신뢰도 또한 문항내적일치성 신뢰도와 마찬가지로 단어수준의 목표음소 PCC와 문장수준의 전체 PCC를 2-5세 아동과 6-7세 아동 집단으로 나누어 살펴보았다. 그 결과, 모든 집단 연령에서 Spearman-Brown 계수값이 .87 이상으로 높은 신뢰도를 보여줬다. 이 중 문장의 전체 PCC가 단어의 목표음소 PCC보다 높은 반분신뢰도를 보여줬는데, 이는 문항내적일치성 신뢰도와 동일한 형태로 문장검사에서 아동의 조음 특성이 모두 반영된 결과라고 할 수 있다. 반면, 6-7세 아동의 반분신뢰도가 2-5세 집단과 비교하여 단어와 문장 PCC 모두 다소 감소하였는데 이는 문항내적일치성 신뢰도와 상반된 결과이다. 그러나, 연령집단 간 반분신뢰도의 감소폭이 크지 않으므로(단어의 목표음소 PCC =.004; 문장의 전체 PCC = .009) 분석에 포함된 대상자들의 특성과 함께 반분신뢰도의 제한점으로 양분하는 방법에 따라 신뢰도 계수가 달라진다는 점도 고려될 수 있다. 검사-재검사 신뢰도는 연령 구분 없이 1차와 2차의 U-TAP2 검사에서 단어수준의 5가지 측정치(목표음소 PCC와 전체 PCC, PMLU, PWC, PWP)와 문장수준의 4가지 측정치(전체 PCC, PMLU, PWC, PWP) 간의 상관관계를 살펴보았다. 분석 결과, 전반적으로 .89-.93의 높은 상관을 보였는데 이는 검사결과가 시간이 경과되더라도 일관성 있게 나타나고 있음을 시사한다.
본 연구의 제한점 및 제언은 다음과 같다. 첫째, 본 연구에 참여한 전체 피험자들을 연령별로 나누었을 때 대상자 수가 많지 않으므로 보다 안정적인 표준화 규준을 위하여 추후에 연령별 대상자 수를 증가시킬 필요가 있다. 둘째, 본 연구에서 발달적 타당도를 제외하고 연령 집단을 2-5세, 6-7세의 두 집단으로 분류하여 타당도 및 신뢰도를 분석하였으므로 추후연구에서 연령 수준을 보다 세분화하여 연령대별 결과를 살펴볼 필요가 있다. 셋째, U-TAP2의 문장검사에서 목표음소에 대한 조음평가가 이루어지지 않았므로 문장과 단어 수준의 비교 및 해석에 제한점이 있다. 이러한 이유로 문장에 대한 내용타당도 분석에서 전체문장 중 목표음소의 포함여부만 준거 기준으로 제시할 수 있었으며, 문장에서 검사하고자 하는 특정 음소가 다른 음소들과 균등한 비율로 제시되었는지, 또는 다양한 조음위치에서 구성되었는지에 관한 준거의 타당성을 평가할 수 없었다. 따라서 추후연구에서 단어검사와 문장검사의 측정치들을 통일시키기 위한 시도와 함께 이에 따른 타당도 및 신뢰도 검정이 다시 고려될 수 있다. 넷째, 본 연구의 발달적 타당도 및 문항내적일치성 신뢰도, 반분신뢰도 검정에서 자음정확도만 분석하였으므로 추후연구에서 다른 측정치들(PMLU, PWC, PWP)에 관해서도 타당도 및 신뢰도를 분석할 필요가 있다. 마지막으로, 문항내적일치성 신뢰도와 반분신뢰도의 연령 집단 간 차이 변화가 비록 낮은 수치이지만 서로 상반된 결과를 나타내므로 대상자 수를 증가시켜 연령 변화에 따른 신뢰도 분석이 필요하다.
