| Home | E-Submission | Sitemap | Contact Us |  
top_img
Commun Sci Disord > Volume 27(3); 2022 > Article
초등 저학년 발달성 난독 아동의 의미지식에 따른 문단글 읽기유창성 특성 및 오류분석

초록

배경 및 목적

본 연구는 초등 저학년 발달성 난독 아동을 대상으로 의미지식을 고려한 문단글 읽기유창성 특성을 알아보고 오류분석을 하고자 하였다.

방법

초등 저학년 발달성 난독 아동 30명을 수용 어휘력 검사 결과에 따라 어휘정상 난독 집단과 어휘부진 난독 집단으로 나누었으며, 두 집단은 학년, 지능, 해독수준이 일치하였고, KOLRA의 해독 수행력 또한 일치하였다. 본 연구에서는 문단글 읽기유창성의 정확도와 속도를 비교하고 의미지식을 고려하여 오단서 분석(MA)과 언어패턴 분석(LPA)으로 오류빈도를 비교하였다.

결과

어휘부진 난독 집단은 오단서 분석(MA)에서 대치 및 수정 오류가 유의하게 높은 빈도로 나타났다. 또한 언어패턴 분석(LPA)에서는 자소-음소 불일치형 오류에서 유의하게 높은 오류빈도를 보였다.

논의 및 결론

자동성 이론에 따르면, 유창한 읽기를 위해서는 의미적 단위로 글을 이해하며 읽어내야 한다. 해독 수준이 동일한 난독 집단 내에서도 어휘부진 집단의 경우 의미지식의 제한으로 문단글 읽기유창성에서 더 많은 오류를 보였다. 한국의 초등 1-2학년 교과서 내 문단글에는 문법형태소가 결합된 자소-음소 불일치형 어절이 다수 포함되어 있다. 따라서 음절 단위뿐만 아니라 3중 단어 구성론을 고려하여 읽기 유창성 오류를 살펴보아야 한다.

Abstract

Objectives

The purpose of this study was to investigate the characteristics of text reading fluency error analysis of Korean 1st and 2nd graders with developmental dyslexia considering semantic knowledge.

Methods

Thirty developmental dyslexic children were divided into two groups of 15 children, one group with poor vocabulary and the other not. Both groups had similar word decoding abilities as determined by Korean Language based Reading Assessment (Pae, Kim, Yoon, & Jang, 2015). The children had normal intelligence and difficulties in reading. The task was the text taken from Korean Language based Reading Assessment. Considering semantic knowledge, the performance of text reading fluency and error types, the results of miscue analysis (MA) and Linguistic pattern analysis (LPA) were compared.

Results

The group with poor vocabulary exhibited a lower frequency of errors in substitution and correction by miscue analysis. They also showed a lower error frequency in phoneme-grapheme non-correspondent errors by linguistic pattern analysis.

Conclusion

According to the automaticity theory, we need to read texts with understanding on a semantic basis. Even with the same level of decoding, there were more errors in text reading fluency due to limited semantic knowledge in the group with poor vocabulary. Paragraphs in textbooks in the 1st and 2nd grades in Korea contain several phoneme-grapheme non-correspondent ‘eojeols’ that combine grammatical morpheme graphemes. Therefore, in addition to reading errors of grapho-phonology in syllable units, reading errors considering triple word-form bases should be examined.

읽기는 초등학교 학생들에게 학업을 위한 필수적 능력이며, 중요한 의사소통으로의 수단으로 작용한다(Paul & Norbury, 2012). 초등학교 1-2학년의 모든 교과서를 살펴보면 짧게는 3-4문장에서 3-4페이지에 이르는 길이의 덩이글이 있다. 이러한 덩이글은 다양한 길이의 문장으로 이루어져 있고, 음운규칙을 적용하여 읽어야 하는 어절이 많은 비중을 차지한다. 초등학교 1학년 및 2학년 시기에는 교사가 읽어 주기, 교사의 낭독을 듣고 따라 읽기, 개별적으로 소리내어 읽기, 짝과 번갈아 읽기 등의 형태로 읽기유창성 교수가 이루어지고 있다(Jeong, 2012). 따라서 낱말을 정확하게 읽어내는 해독 능력뿐만 아니라 여러 가지 문장으로 이루어진 덩이글을 유창하게 읽어내는 능력이 중요하다고 할 수 있다.
The Diagnostic and Statistical Manual of Mental Disorders, Fifth Edition (DSM-5, American Psychiatric Association, 2013)에 따르면, 특정학습장애 중 난독증(dyslexia)은 정상범위에 속하는 지능과 정상 수준의 감각기능을 가진 아동 중에서 정규 교육 과정을 통해 읽기 지도를 받았음에도 불구하고 단어를 정확하게 또는 유창하게 읽는 것에 어려움을 보이거나, 해독과 철자 능력이 부족하여 학습에 어려움을 겪는 경우를 말한다. 발달성 난독 아동의 대다수는 연령에 맞는 어휘 능력과 정상 범주의 언어적 능력을 가지고 있으나, 음운론적 결함으로 인해 읽기의 기초 능력인 낱말 해독 능력부터 어려움을 보이며, 이때 음운 능력뿐만 아니라 어휘, 문법 영역과 같은 언어적 능력에도 어려움을 가질 수 있다고 한다(Vellutino, 1987). 따라서 발달성 난독 아동의 경우, 읽기 능력뿐만 아니라 언어적 능력을 함께 확인할 필요가 있다.
해독의 정확도 발달이 이루어지는 초등 1-2학년 시기에 속한 난독 아동은 제한된 해독 능력으로 인해 글을 유창하게 읽는 능력까지 어려움을 겪으며 결국 읽기의 궁극적인 목적인 글을 읽고 이해 하는 것에 어려움을 가지게 된다. 실제 한국 초등학생을 대상으로 문단글 읽기유창성 수행력을 살펴본 선행연구 결과, 속도 면에서 초당 정확하게 읽은 음절수로 계산하였을 때 일반 아동들은 초등 저학년에서 초당 평균 3.20음절을 읽는 반면, 난독 아동들은 저학년의 경우 초당 평균 1.37음절을 읽어냈다. 이러한 일반 아동과 난독 아동의 읽기유창성 수행력 격차는 낱말 해독 능력과는 달리 고학년까지 계속하여 이어진다고 하였다(Pae, Shin, & Seol, 2017).
읽기유창성은 적절한 운율(prosody)을 사용하여 정확하고(accuracy), 적절한 속도(rate)로 읽는 것을 뜻한다(Kuhn & Stahl, 2003; National Reading Panel, 2000). 정확도는 단어를 올바르게 해독하는 능력이며, 속도는 텍스트를 빠르고 자동적으로 읽는 능력이다. 운율은 억양, 강세, 길이 등이 포함된다(Dowhower, 1991). 읽기 자동성은 인지적 노력을 많이 들이지 않고 빠르고 정확하게 글을 읽는 능력을 말하며, 문단글 읽기유창성은 특히 자동성(automaticity)이 중요한 능력이다. 자동적인 읽기가 가능해지면 의미적 단위로 글을 읽어내어 글의 의미를 이해하며 읽게 된다(LaBerge & Samuels, 1974).
읽기의 궁극적 목표인 읽기이해에 도달하기 위해서는 해독 능력과 언어적 능력이 필요한데, 문단글 읽기유창성은 해독 능력과 언어적 능력을 잇는 다리 역할을 한다(Kim & Wagner, 2015; Pikulski & Chard, 2005). 유창하게 읽는다는 것은 글을 정확하게 읽는 것에 더하여 글의 의미를 이해하며 읽는 것을 포함하기 때문에 읽은 내용을 이해하기 위해서는 읽기유창성 능력이 매우 중요하다(Wolf & Katzir-Cohen, 2001). 특히 해독의 정확도 발달이 이른 시기에 나타나는 표층표기체계의 언어권에서는 읽기유창성 능력이 읽기이해에 더욱 중요한 요인으로 작용한다(Landerl & Wimmer, 2008; Yoon, 2016). 따라서 초등 저학년 시기의 읽기유창성 수행력을 살펴볼 필요가 있다고 하였다(De Luca, Zeri, Spinelli, & Zoccolotti, 2010). 한국어는 철자의 깊이가 다른 언어에 비해 투명한 언어체계에 속한다. 이에 한글을 사용하는 아동들은 초등 저학년 시기부터 유창하게 읽는 능력을 살펴보는 것이 중요하다. 선행연구에 따르면, 초등 1-2학년 시기의 읽기유창성이 읽기이해와 가장 높은 상관관계를 보이고, 문단글 읽기유창성은 읽기이해력을 크게 예측하는 요인이라고 한다(Katzir et al., 2006; Kim, Gatlin, Otaiba, & Wanzek, 2018; Yoon, 2016).
읽기유창성에 영향을 미치는 요인에는 단어 해독 능력, 음운처리 능력, 쓰기 능력, 언어적 능력이 있다(Jenkins, Fuchs, Van Den Broek, Espin, & Deno, 2003; Kim, Park, & Kim, 2010; Kim, Wagner, & Foster, 2011). 해독이 자동화되면 언어적 이해력에 크게 의존하게 되는데(Catts, Hogan, & Adlof, 2005), 그중 어휘력은 기초 의미 능력으로 가장 대표되는 변인이다. 어휘의 뜻을 이해할 때 문장을 빠르고 정확하게 읽을 수 있기 때문에, 어휘지식은 읽기유창성 수행력에 영향을 미친다(Kim, Cho, & Koh, 2015; Kim & Hwang, 2008; Vellutino, Tunmer, Jaccard, & Chen, 2007). 어휘지식이 풍부할수록 어휘 및 문장 인지의 정확도와 속도가 높게 나타나며, 덩이글을 유창하게 읽어내기 위해서는 의미적 단위로 나누어 읽어야 할 필요가 있다. 특히 해독 난이도가 높은 음운규칙이 적용된 어절을 읽어 내기 위해서는 한눈에 읽어낼 수 있는 일견어휘(sight word)가 많을수록 자동적인 읽기가 가능해진다. 이에 유창한 문단글 읽기를 위해서는 단순히 해독 능력뿐만 아니라 어휘지식이 필요하다고 할 수 있다(Berninger, Abbott, Nagy, & Carlisle, 2010; Vellutino et al., 2007; Wolf & Katzir-Cohen, 2001).
이렇듯 어휘 능력이 읽기유창성에 매우 중요한 요인임을 알 수 있으나, 초등 1-2학년 발달성 난독 아동을 대상으로 어휘부진 유무에 따른 읽기유창성 능력을 확인한 연구는 적은 실정이다. Yoon (2019)의 연구에 의하면 초등 1학년 어휘발달지연 아동이 일반 아동과 비교하여 문단글 읽기유창성에서 통계적으로 유의하게 낮은 점수를 보임에 따라, 어휘지식의 양이 읽기유창성의 차이를 야기한다고 한다. 또한 초등 1-2학년 시기의 어휘와 읽기유창성은 유의한 상관관계를 나타내며, 어휘력이 읽기유창성을 설명하는 유의한 예측변인이라고 하였다(Cain & Oakhill, 2011; Kim, An, Kim, & Shin, 2018; Kim, Kim, Yoo, Hwang, & Park, 2011; Kim & Park, 2010; McKeown, Beck, Omanson, & Perfetti, 1983; Ouellette, 2006; Seol, 2016; Vellutino et al., 2007; Yoon, 2015).
학생들의 읽기 능력을 파악하기 위해서는 오류분석이 필수적이다. 글을 읽는 과정에 읽기의 오류분석은 학생들의 읽기 능력에 대한 구체적인 정보를 제공하므로, 읽기교수 계획 및 수행에 있어 중요하다(Goodman, 1973; Kim et al., 2010; Parker, Hasbrouck, & Tindal, 1992). 문단글 읽기 오류유형의 분석 방식은 학자마다 상이한데, 국외 및 국내 연구에서는 개별단어 수준에서의 오류분석(Goodman, 1969)과 어절 수준에서의 오류분석(Kim & Park, 2010; Kim et al., 2010), 텍스트 수준에서의 오류분석(Kim & Park, 2010; Kim et al., 2010)이 대부분이었다. 한편 음절 블록(syllable block) 체계를 갖는 한국어의 특성을 고려하여(Kim, 2008), 개별 음절 수준에서의 대치, 생략, 첨가, 수정, 반복을 포함하는 오류분석 방법인 오단서 분석(Miscue Analysis, MA; Goodman, 1969; Kim & Park, 2010; Ku, Seol, & Pae, 2015)과 한국어의 언어학적 특성을 반영한 오류분석 방법인 언어패턴 분석(Linguistic pattern analysis, LPA; Bahr, Silliman, Berninger, & Dow, 2012; Shin & Pae, 2020)으로 나누어 분석할 필요가 있다.
Goodman (1969)은 MA라는 오류분석 방법을 제시하였는데, 이는 학생들이 보이는 오류가 읽기유창성 발달 단계를 반영하며 오류분석은 학생의 읽기유창성 발달 단계를 파악할 수 있다는 가정 하에 제안된 방법이다. 오류분석은 능숙하게 읽는지 여부를 확인할 수 있을 뿐만 아니라 학생이 어떻게 읽는지 분석하여 읽기 과정에 대한 지식과 정보를 제공할 수 있게 한다. 해당 연구에서는 낱말 해독 관련 오류(예: 오류가 목표 단어와 비슷하게 발음되는가?), 문법적 오류(예: 오류가 문법적으로 수용 가능한 수준인가?), 의미적 오류(예: 오류가 의미적으로 수용 가능한 수준인가?), 수정 오류 (예: 오류를 스스로 수정하였는가?) 등으로 오류유형을 나누어 제시하였다. 이러한 오단서 분석(MA)을 차용한 다수의 선행연구에서는 대치, 생략, 첨가, 수정, 반복의 5개 오류유형으로 나누어 문단글 읽기 오류를 분석하였다(Kim & Park, 2010; Ku et al., 2015). 선행연구에 따르면 읽기 오류유형별 오류빈도를 분석한 결과, 일반 아동의 경우 대치, 반복, 수정, 첨가, 생략 순으로 오류가 높게 나타났으며(Chae & Kim, 2019), 읽기장애 아동의 경우 대치, 수정, 반복, 첨가, 생략 순으로 오류가 높게 나타났다(Kim & Park, 2010). 또한 언어학습장애 아동의 경우 대치, 반복, 생략, 수정, 첨가 순으로 오류가 높게 나타났다(Chae & Kim, 2019). 언어 또는 읽기가 어려운 아동은 대치, 수정 오류를 빈번히 보이는 경향이 있는데, 발달성 난독 아동이 어떠한 읽기 오류 특성을 보이는 지에 대한 연구는 거의 찾아볼 수 없다.
언어패턴 분석(LPA)은 언어학적 인식 능력을 바탕으로 오류를 분석하는 방법이다. 이러한 언어학적 지식의 습득은 3중 단어 구성 이론(triple word-form theory)으로 설명되는데, 이에는 음운 지식(phonological knowledge), 철자 지식(ortho graphical knowledge), 형태소 지식(morphological knowledge)이 포함된다(Berninger et al., 2010). 한국어는 철자법이 투명하여 자소-음소를 대응하여 읽는 것이 다른 언어에 비해 상대적으로 쉽다. 하지만, 하나의 어절에 하나의 단어가 포함되는 영어권 국가와는 달리, 한국어는 하나의 어절에 여러 개의 어휘와 형태소가 결합되어 그 형태가 다양하고 복잡하다(Kim & Lee, 2003). 따라서 개별 음절 수준으로 오류를 분석하는 방법과 함께 한국어 특성을 고려하여 3중 단어 구성 이론에 따른 음운, 철자, 형태를 아우르는 언어패턴 분석(LPA) 방법을 사용하여 오류를 살펴보는 것이 중요하다. 이에 자소-음소가 일치하는 어절(음운적 지식), 자소-음소가 불일치하는 어절(철자적 지식), 그리고 한국어의 특성을 반영한 문법형태소적 지식을 살펴볼 필요가 있다. 따라서 언어학적 패턴을 살펴보는 분석 방법은 읽기유창성 수행력을 살펴보기 위해서 굉장히 유용한 방법이라고 할 수 있다(Bahr et al., 2012; Shin & Pae, 2020).
종합해보자면, 읽기유창성은 한국의 초등 1-2학년 아동들에게 매우 중요한 능력이다. 특히 읽기에 어려움을 갖는 발달성 난독 아동들은 해독 능력의 제한으로 인해 글을 의미적 단위로 읽어내지 못한다. 덩이글을 정확하고 자동적으로 읽기 위해서는 해독 능력 뿐만 아니라 어휘지식도 중요한데, 아직 초등 1-2학년 발달성 난독 아동을 대상으로 어휘 능력에 따른 읽기유창성 능력을 살펴본 연구가 부족한 실정이다. 따라서 본 연구에서는 해독 수행 능력이 동일한 난독 집단을 어휘부진 유무에 따라 분류한 뒤 오단서 분석(MA), 언어패턴 분석(LPA) 유형으로 나누어 초등 저학년 난독 아동의 어휘수준에 따른 문단글 읽기유창성 수행력 및 오류특성을 알아보고자 하였다. 이에 따른 연구문제는 다음과 같다.
1) 발달성 난독 집단을 어휘수준에 따라 나누었을 때, 문단글 읽기유창성 정확도 및 속도에 차이가 있는가?
2) 발달성 난독 집단을 어휘수준에 따라 나누었을 때, 오단서 분석(MA)의 오류유형별 빈도에 차이가 있는가?
3) 발달성 난독 집단을 어휘수준에 따라 나누었을 때, 언어패턴 분석(LPA)의 오류유형별 빈도에 차이가 있는가?

연구방법

연구대상

본 연구에는 강원도 초등 1, 2학년 어휘정상 발달성 난독 아동 15명과 어휘부진 발달성 난독 아동 15명이 포함되어 총 30명이 속하였다. 이들은 모두 1) 지능이 정상이고, 2) 읽기에 어려움이 있으며, 3) 낱말 수준에서의 해독 수준이 유사한 집단이었다. 한국 비언어성 지능검사(K-CTONI-2; Park, 2014) 도형척도에서 각각 지능지수 평균 99.33 (SD 13.44), 평균 91.73 (SD 6.83)으로 두 집단 간 차이가 없었고(t=1.832, p=.078), 한국어 읽기검사(KOLRA; Pae, Kim, Yoon, & Jang, 2015) 핵심검사의 읽기지수 2가 각각 표준점수 평균 71.87 (SD 6.87), 평균 66.53 (SD 8.99)으로 모두 읽기에 어려움을 보였으며, 두 집단 간 읽기지수에는 통계적으로 유의미한 차이가 없었다(t=1.746, p=.092). KOLRA 해독 표준점수의 경우에도 각각 표준점수 평균 75.13 (SD 7.88), 평균 66.40 (SD 15.70)으로 두 집단간 유의미한 차이가 없어(t=1.860, p=.073), 낱말 수준에서의 해독 수준이 유사한 집단이었다. 그리고 담임, 부모에 의해 기타 발달 및 주의력 상의 문제가 없다고 보고된 아동이었다.
어휘정상 난독 집단과 어휘부진 난독 집단으로 나누기 위해 수용 · 표현 어휘력 검사(REVT; Kim, Hong, Kim, Jang, & Lee, 2009)의 수용 어휘력 검사(REVT-R)를 실시하였으며, 검사 결과 백분위수 20 초과로 나온 아동을 어휘정상 난독 집단, 백분위수 10 미만에 해당하는 아동을 어휘부진 난독 집단으로 선정하였다. 대상자들의 성별, 연령, 지능지수, 읽기지수 2, 해독 표준점수, 듣기이해 표준점수 및 수용어휘 원점수에 대한 기술 통계를 Table 1에 제시하였다.

연구도구 및 분석방법

한국어 읽기검사(KOLRA; Pae et al., 2015)의 핵심검사인 문단글 읽기유창성 검사에서 130음절로 이루어진 1, 2학년용 문단글 ‘김밥 만들기’를 제공하여 글을 소리내어 읽도록 제시하였다. 본 연구에 사용된 문단글 ‘김밥 만들기’는 전체 49개 어절 중 28개 어절이 자소-음소 일치형 어절, 21개 어절이 자소-음소 불일치형 어절로 구성되었다. 본 문단글을 소리내어 읽는 과정을 휴대전화를 이용해 녹음한 뒤 3일 이내 다시 듣기를 통해 전사 후 분석하였다. 분석은 아동의 반응을 음절 단위로 분석하여 문단글 읽기유창성의 수행 정확도와 속도, 각 오류유형별 오류빈도를 계산하였다. 정확도의 경우 아동이 정확하게 읽은 음절 수를 전체 음절 수로 나눈 뒤 100을 곱하여 계산하였다. 속도의 경우 아동이 문단글을 읽은 전체 시간을 초 단위(소수점 한 자리까지)로 측정하였다.
오류유형별 분석 방법 중 하나인 오단서 분석(MA)의 경우, 대치 (substitution), 생략(insertion), 첨가(insertion), 수정(correction), 반복(repetition) 오류로 분류하였다. 언어패턴 분석(LPA)의 경우 자소-음소 일치형(phoneme-grapheme correspondent), 자소-음소 불일치형(phoneme-grapheme non-correspondent), 문법형태소(grammatical morpheme grapheme) 오류로 분류하였다(Appendix 1). 언어패턴 분석(LPA)에서도 음절 단위로 계산하였으나, 한국어 문법형태소 특성상 자소 단위의 조사가 포함되어 있어(예: -ㄴ, 한 거) 문법형태소 오류를 자소-음소 일치형, 자소-음소 불일치형 오류에 중복 포함하여 분석하였다. 오류빈도의 경우 아동이 보인 절대적 오류의 횟수를 뜻하며, 아동이 보인 오류유형별 횟수로 계산하였다.

신뢰도

분석자 간 신뢰도를 측정하기 위해 언어병리학을 전공하는 문해 전문 언어재활사 대학원생 1명과 함께 전체 자료 중 20%에 해당하는 6명 아동의 문단글 읽기유창성 음성 파일을 무작위로 선택하여 분석하였다. 초등 저학년 어휘정상 난독 집단과 어휘부진 난독 집단의 읽기 자료에 대해 분석자 간 신뢰도를 측정한 결과, 채점신뢰도 97.4%, 전사신뢰도 93.3%로 나타났다.

통계처리

어휘수준이 다른 난독 집단의 문단글 읽기유창성의 정확도 및 속도를 비교하기 위하여 독립표본 t-검정(independent t-test)을 실시하였으며, 어휘수준에 따른 읽기오류유형 별 오류빈도를 비교하기 위하여 이원분산분석(repeated two-way ANOVA)을 사용하였다. 또한, 상호작용 효과에 대한 사후분석을 일원분산분석, 독립표본 t-검정(independent t-test) 및 대응표본 t-검정(paired t-test)으로 실시하였다. 모든 통계분석은 SPSS 25.0프로그램을 이용하여 분석하였다.

연구결과

어휘수준에 따른 문달글 읽기유창성 정확도 및 속도 비교

어휘수준이 다른 난독 집단의 문단글 읽기유창성 정확도 및 속도를 비교하기 위하여 독립표본 t-검정을 실시한 결과 읽기유창성 정확도와 속도에 있어 두 집단 간 유의한 차이가 나타나 읽기 유창성 정확도와 속도에서 모두 어휘정상 난독 집단이 높은 수행력을 보이는 것으로 나타났다(Table 2, Figures 1, 2).

어휘수준 집단과 오단서 분석(miscue analysis)에 따른 오류빈도 비교

오단서 분석(MA)의 오류빈도에 대한 반복측정 이원분산분석을 실시한 결과, 어휘수준과 유형별 오류빈도에 따른 상호작용효과가 나타났다(F(1,28) =3.160, p<.05). 또한, 어휘수준에 따른 주효과(F(1,28) = Figure 4. Reading fluency error frequency (LPA) depending on vocabulary. 5.779, p<.05)와 유형별 오류빈도에 따른 주효과(F(1,28) = 33.130, p<.05)가 유의하였다. 이에 대한 사후분석을 독립표본 t-검정 및 대응표본 t-검정으로 실시한 결과, 대치 오류빈도(t=-2.267, p<.05) 와 수정 오류빈도(t=-3.160, p<.05)에서 집단 간 차이가 유의하였으며, 두 집단 모두 집단 내에서 대치 오류빈도가 유의하게 높은 것으로 나타났다(Figure 3).
어휘수준과 언어패턴 분석(linguistic pattern analysis)의 오류유형에 따른 오류빈도 비교
언어패턴 분석(LPA)의 오류빈도에 대한 반복측정 이원분산분석을 실시한 결과, 어휘수준과 유형별 오류빈도에 따른 상호작용효과가 나타났다(F(1,28) = 4.757, p<.05). 또한, 어휘수준에 따른 주효과 (F(1,28) = 6.090, p<.05)와 유형별 오류빈도에 따른 주효과(F(1,28) = 46.849, p<.05)가 유의하였다. 이에 대한 사후분석을 독립표본 t-검정 및 대응표본 t-검정으로 실시한 결과, 자소-음소 불일치형 오류 빈도에서 집단 간 차이가 유의하였으며(t=-2.525, p<.05), 두 집단 모두 집단 내에서 자소-음소 불일치형 오류빈도가 유의하게 가장 높은 것으로 나타났다(Figure 4).

논의 및 결론

본 연구는 난독 집단을 어휘수준에 따라 어휘정상 난독 집단 (Developmental dyslexia with normal vocabulary, DD-NV)과 어휘부진 난독 집단(Developmental dyslexia with poor vocabulary, DD-PV)으로 분류하여 문단글 읽기유창성 수행력을 살펴보았으며, 오단서 분석(MA), 언어패턴 분석(LPA)으로 읽기 오류를 분석하였다. 본 연구에서는 130음절로 구성된 초등 1-2학년 수준의 문단글 읽기 과제를 활용하였으며, 전체 49개 어절 중 28개 어절이 자소-음소 일치형 어절, 21개 어절이 자소-음소 불일치형 어절로 구성되었다. 본 연구에 참여한 어휘정상 난독 집단은 해독 총점 80점 중 원점수 평균 44.20점(SD 6.18), 어휘부진 난독 집단은 해독 원점수 평균 36.80점(SD 11.24)으로 자소-음소 일치형 낱말을 해독할 수 있는 알파벳 단계이면서 음운규칙이 적용되는 자소-음소 불일치형 읽기를 시도하는 철자법 읽기단계 초기에 진입한 것으로 확인되 었다(Ehri, 2000). 따라서 두 집단 모두 주어진 문단글을 끝까지 해독하여 읽기가 가능하였으나, 오단서와 언어패턴에 따른 오류를 보였다.
먼저, 문단글 읽기유창성을 정확도와 속도 측면으로 나누어 보았을 때 어휘정상 난독 집단이 어휘부진 난독 집단보다 유의하게 높은 정확도와 빠른 속도를 보였다. 이는 어휘발달지연 아동이 일반 아동보다 문단글 읽기유창성 과제에서 적절한 속도와 정확도로 읽는 것에 어려움을 보였다는 선행연구(Yoon, 2019)의 연구결과에 더하여, 읽기의 어려움 정도가 유사한 발달성 난독 집단 내에서도 어휘력이 문단글 읽기유창성 수행력에 영향을 미쳤다는 것을 밝혀 냈다. 이는 해독 수행력이 유사한 난독집단 내에서도 어휘력이 읽기유창성에 중요하다는 것을 말한다. 단어 해독을 위해서는 소리, 철자지식뿐만 아니라 단어의 의미지식을 활용해야 한다는 선행연구(Seidenberg & McClelland, 1989)를 뒷받침하여 문단글 읽기유창성 수행을 위해서는 충분한 어휘지식이 필요하다는 것을 말한다
본 연구에서 문단글 읽기유창성을 분석하는 방법에는 오단서 분석(MA) 방법과 언어패턴 분석(LPA) 방법이 있었다. 오단서 분석(MA) 오류빈도에서는 어휘부진 난독 집단이 어휘정상 난독 집단보다 대치 유형에서 유의하게 더 많은 오류를 보인 것으로 나타났다. 선행연구(Kim & Park, 2010)에 따르면 읽기부진 아동이 일반 아동보다 대치 오류, 특히 조사 부분에서 오류를 다수 보였다. 본 연구에서는 읽기가 동일하게 어려운 두 난독 집단 내에서도 어휘부진 난독 집단에서 오류를 빈번히 보였는데, 오류의 횟수뿐만 아니라 오류의 양상이 다른 것도 살펴볼 수 있었다. 어휘정상 난독 집단에 속한 아동은 의미적으로 읽으려는 과정에서 음운규칙 미적용으로 인한 대치 오류, 의미적으로 유사하게 읽어내려는 오류를 보인 반면 (예: 익으면/이그면/→/이키면/, /익으면/), 어휘부진 난독 집단에서는 의미지식의 제한으로 인해 자소 단위의 오류를 보여 의미적으로 읽어내는 것에 어려움을 보였다(예: 익으면/이그면/→/인으면/, /징느면/).
수정 오류의 경우 어휘부진 난독 집단이 어휘정상 난독 집단보다 더 많은 오류빈도를 보였으며, 오류빈도에서 유의한 차이가 나타 났다(t=-3.160, p<.05). 수정 오류는 읽기 오류를 보인 이후 아동이 스스로 수정한 경우를 의미한다. 어휘부진 난독 집단이 어휘정상 난독 집단보다 읽기 오류를 빈번히 보인 양상을 보았을 때, 수정 오류도 따라서 함께 증가한 것으로 생각된다. 수정 오류는 읽기 수준이 어느 정도 숙달된 아동이 읽기 반응을 스스로 점검하는 과정에서 올바르게 고쳐 읽는 오류로써 읽기 능력을 향상시키기 위한 긍정적 오류 반응으로 살펴볼 수 있다(Bae, 2004; Woo & Kim, 2012). 하지만 수정 오류가 빈번하다는 것은 능숙한 읽기에 도달하지 않았다는 것을 의미한다. 본 연구에 참여한 대상자들의 수정 전 반응을 살펴보았을 때, 주어진 문단글의 음절 내에서 초성 및 종성의 대치오류를 보였다가 수정하는 경우가 빈번하였다. 따라서 아동의 읽기 특성에서 수정 오류를 살펴보는 것은 의의가 있으며, 수정 전 반응을 함께 기록해 두어 아동의 읽기 특성을 살펴보는 것이 필요할 것으로 보인다.
언어패턴 분석(LPA) 오류빈도에서는 어휘부진 난독 집단이 어휘정상 난독 집단보다 자소-음소 불일치형에서만 유의하게 더 많은 오류를 보인 것으로 나타났다. 선행연구(Kim & Park, 2010)에 따르면 읽기부진 아동이 일반 아동보다 음운변동 오류를 더 많이 보였다고 하였는데, 본 연구결과에서는 읽기수준이 동일한 난독 집단 내에서도 어휘수준이 낮을 경우 자소-음소 불일치형 오류를 더 많이 보이는 것으로 나타났다. 모든 자소-음소 불일치형 어휘는 초등 1-2학년 교과서에 수록된 쉬운 난이도의 어휘였다. 문단글 내 어휘의 쉬운 난이도에도 불구하고 어휘지식의 제한이 있는 아동은 어휘가 정상 범주인 아동과 비교했을 때 자소-음소 불일치형을 읽는 데에 있어서 42개 음절 중 각각 평균 23개, 14개 음절에서 오반응을 보이는 등 어려움이 두드러지게 나타나 읽기 수행력에 영향을 미쳤다고 할 수 있다. 연구과제로 사용된 ‘김밥 만들기’ 문단글의 전체 49개 어절 중 28개 어절은 자소-음소 일치형 어절로 구성되었다. 어휘 정상 난독 집단과 어휘부진 난독 집단은 자소-음소 일치형 낱말 해독 총점 40점 중 각각 31.73점(SD 4.847), 28.87점(SD 8.895)으로 유의한 차이가 나타나지 않았다(t=1.096, p=.285). 이로 인해 언어패턴 분석(LPA) 결과 자소-음소 일치형 오류빈도에서 유의한 차이가 나타나지 않은 것으로 보인다. 한국어는 낱말과 형태소가 결합되어 어절을 형성하는 특성을 가진다(Kim & Lee, 2003). 따라서 음절 단위의 읽기 오류분석뿐만 아니라 우리나라 철자법을 고려한 자소 단위의 오류분석도 함께 분석할 필요성이 있음을 시사한다.
읽기 자동성(automaticity)은 노력을 들이지 않고 빠르고 정확하게 글을 읽어내는 능력이다. 문단글 읽기유창성은 특히 자동성(automaticity)이 중요한 능력이며, 자동적인 읽기가 가능해지면 의미적 단위로 글을 읽어내어 글의 의미를 이해하며 읽게 된다. 읽기 자동성은 일견어휘(sight word)와 관련이 있는데, 일견어휘가 많아지면 단어를 읽는 순간 의미를 파악하게 되기 때문에 단순히 글을 해독하는 것을 넘어서 문장의 의미 파악에 초점을 맞추게 된다(LaBerge & Samuels, 1974). 따라서 아동이 의미적으로 글을 이해하며 읽는다는 것은 글자의 형태와 의미를 자동적으로 처리할 수 있는 능력을 가지고 있다는 것으로 해석할 수 있다. 본 연구에 참여한 두 집단 모두 읽기의 자동성이 아직 완성되지 않은 것으로 보인다. 특히 어휘부진 동반 난독집단의 경우 어휘부진을 동반하지 않은 난독 집단에 비해 문단글 읽기에서 정확도와 속도, 그리고 오류 측면에서 유의하게 낮은 수행력을 보였다. 이는 어휘부진 동반 난독 아동이 일견어휘가 더욱 제한되어 빠르고 정확하게 글을 읽어내는 자동성(automaticity)면에서 떨어졌기 때문이라고 볼 수 있다. 발달성 난독 아동의 어휘수준을 살펴보는 것은 임상적으로 매우 중요할 것으로 추측된다(Kim & Hwang, 2008; Seol, 2016; Vellutino et al., 2007; Yoon, 2019).
본 연구에서는 수용 어휘력을 양적으로 평가하는 도구인 수용 · 표현 어휘력 검사(REVT; Kim et al., 2009)를 기준으로 난독 집단을 분류하였다. 그러나 학령기에는 어휘의 양적인 측면뿐만 아니라 상위 의미지식이 함께 발달한다. 텍스트는 여러 어휘가 복합적으로 구성된 덩이글이다. 초등 1-2학년 시기에는 이러한 텍스트를 자동적으로 유창하게 읽는 능력이 필요한데, 텍스트 단위의 읽기를 위해서는 어휘지식이 필요하다. 따라서 추후 연구에서는 어휘의 양적인 측면뿐만 아니라 상위 의미적인 측면을 포괄적으로 함께 고려하여, 어휘의 깊이에 따라 어휘부진 난독 집단을 분류하였을 때의 어떠한 문단글 읽기유창성 특성을 보이는지에 대한 연구가 필요할 것이다. 또한 본 연구에서는 문단글 읽기유창성 수행력을 확인하기 위한 도구로 한국어 읽기검사(KOLRA; Pae et al., 2015)의 핵심검 사인 문단글 읽기유창성 과제를 사용하였다. 발달성 난독 아동의 해독 수행력은 개인마다 편차가 존재한다(Yu, Won, & Pae, 2021). 추후 연구에서는 다양한 해독 수행력의 난독 아동을 대상으로 어휘력이 문단글 읽기에 미치는 영향을 살펴보기 위해, 해독 및 어휘의 난이도가 조절된 문단글을 제시할 필요가 있다. 나아가 오단서 분석(MA)에서 다른 의미로의 대치와 언어패턴 분석(LPA)에서 해독 수행력이 낮은 경우 자소-음소 일치형 및 문법형태소 오류가 어떤 양상으로 나타나는지 살펴볼 필요가 있다.

Figure 1.
Comparing group text reading fluency accuracy (%) depending on vocabulary.
csd-27-3-483f1.jpg
Figure 2.
Comparing group text reading fluency speed (sec) depending on vocabulary.
csd-27-3-483f2.jpg
Figure 3.
Reading fluency error frequency (MA) depending on vocabulary.
csd-27-3-483f3.jpg
Figure 4.
Reading fluency error frequency (LPA) depending on vocabulary.
csd-27-3-483f4.jpg
Table 1.
Participants’ information on gender, age, cognition, reading, and semantic knowledge
Group Gender (Female : Male) Age K-CTONI-2 (IQ) KOLRA (RQ2) KOLRA (Decoding) REVT-R* (Vocabulary)
DD-NV (N = 15) 5:10 7;9 99.33 (13.44) 71.87 (6.87) 75.13 (7.88) 86 (11.66)
DD-PV (N = 15) 7:8 7;7 91.73 (6.83) 66.53 (8.99) 66.40 (15.70) 65 (6.00)

Values are presented as mean (SD).

DD-NV=Developmental dyslexia with normal vocabulary; DD-PV=Developmental dyslexia with poor vocabulary; K-CTONI-2=Korean Comprehensive Test of Nonverbal Intelligence second edition (Park, 2014); KOLRA=Korean Language based Reading Assessment (Pae, Kim, Yoon, & Jang, 2015); REVT-R=Receptive and Expressive Vocabulary Test-Receptive vocabulary (Kim, Hong, Kim, Jang, & Lee, 2009); RQ2=reading quotient (decoding, reading fluency, reading comprehension); IQ=intelligence quotient.

* t=2.159, p<.05.

Table 2.
Comparison of Text reading fluency accuracy and speed by semantic knowledge
Group M SD df t
Text reading accuracy (%)
 DD-NV 80.31 9.61 28 2.553*
 DD-PV 69.49 13.31
Text reading speed (sec)
 DD-NV 62.93 15.85 28 -3.313*
 DD-PV 85.00 20.36

Values are presented as mean (SD).

DD-NV=Developmental dyslexia with normal vocabulary; DD-PV=Developmental dyslexia with poor vocabulary.

* p<.05.

REFERENCES

American Psychiatric Association. (2013). Diagnostic and statistical manual of mental disorders; DSM-5 (5th ed .). Washington, DC: Author.

Bae, HS. (2004). Reading miscue analysis of early school-aged children with different levels of reading ability. (Doctoral dissertation). Seoul National University, Seoul, Korea.

Bahr, RH, Silliman, ER, Berninger, VW., & Dow, M. (2012). Linguistic pattern analysis of misspellings of typically developing writers in grades 1-9. Journal of Speech Language Hearing Research. 55(6):1587–1599.
crossref
Berninger, VW, Abbott, RD, Nagy, W., & Carlisle, J. (2010). Growth in phonological, orthographic, and morphological awareness in grades 1 to 6. Journal of Psycholinguistic Research. 39(2):141–163.
crossref pmid
Cain, K., & Oakhill, J. (2011). Matthew effects in young readers: reading comprehension and reading experience aid vocabulary development. Journal of Learning Disabilities. 44(5):431–443.
pmid
Catts, HW, Hogan, TP., & Adlof, SM. (2005). Developmental changes in reading and reading disabilities. In H. Catts, A. Kamhi (Eds.), The connections between language and reading disabilities. (pp. 38–51). Mahwah, NJ: Erlbaum.

Chae, SH., & Kim, MB. (2019). Semantic/phonological error characteristics and reading fluency for school-aged children with language learning disabilities in 3rd to 4th grades. Communication Sciences & Disorders. 24(2):387–401.
crossref
De Luca, M, Zeri, F, Spinelli, D., & Zoccolotti, P. (2010). The acquisition of reading fluency in an orthographically transparent language (Italian): an eye movement longitudinal study. Medical Science Monitor. 16(3):SC1–SC7.
pmid
Dowhower, SL. (1991). Speaking of prosody: fluency’s unattended bedfellow. Theory into practice. 30(3):165–175.
crossref
Ehri, LC. (2000). Learning to read and learning to spell: two sides of a coin. Topics in Language Disorders. 20(3):19–36.
crossref
Goodman, KS. (1969). Analysis of oral reading miscues: applied psycholinguistic. Reading Research Quarterly. 9–30.

Goodman, KS. (1973). Miscue analysis: applications to reading instruction. Urbana, Ill: National Council of Teachers of English.

Jenkins, JR, Fuchs, LS, Van Den Broek, P, Espin, C., & Deno, SL. (2003). Sources of individual differences in reading comprehension and reading fluency. Journal of Educational Psychology. 95(4):719–729.
crossref
Jeong, JS. (2012). An analysis of strategies for teaching reading fluency, vocabulary, and reading comprehension through elementary reading textbooks and teacher’s guide books. The Journal of Child Education. 21(2):281–297.

Katzir, T, Kim, Y, Wolf, M, O’Brien, B, Kennedy, B, Lovett, M., & Morris, R. (2006). Reading fluency: the whole is more than the parts. Annals of Dyslexia. 56(1):51–82.
crossref pmid
Kim, AH., & Hwang, MA. (2008). Prediction of reading skills in upper elementary students. Korean Journal of Communication Disorders. 13(1):1–25.

Kim, AH, Kim, UJ, Yoo, HS, Hwang, MA., & Park, SH. (2011). Predictors of word recognition and reading fluency abilities of elementary school students. The Journal of Elementary Education. 24(1):277–303.

Kim, AH., & Park, SH. (2010). Reading fluency of elementary students with and without reading disabilities: reading developmental patterns and error patterns. The Journal of Special Education: Theory and Practice. 11(4):323–344.

Kim, AH, Park, SH., & Kim, JH. (2010). Reading fluency of elementary students in Korea: reading developmental patterns and error patterns. Korean Journal of Communication Disorders. 15(1):43–55.

Kim, DI, An, YJ, Kim, HJ., & Shin, HY. (2018). An analysis of the vocabulary acquisition and reading comprehension skills of reading achievement levels. Journal of Learner-Centered Curriculum & Instruction. 18, 505–522.
crossref
Kim, DI, Cho, YH., & Koh, HJ. (2015). Relations between silent word reading and reading comprehension. The Korean Journal of Educational Psychology. 29(2):169–183.

Kim, JH., & Lee, KJ. (2003). Segmenting and classifying Korean words based on syllables using instance-based learning. The KIPS Transactions: PartB. 10(1):47–56.

Kim, KS. (2008). The effects of phonological awareness training on phonological awareness, word recognition and spelling skill in children with learning disabilities. (Doctor’s dissertation). Daegu University, Daegu, Korea.

Kim, YSG., & Wagner, RK. (2015). Text (oral) reading fluency as a construct in reading development: an investigation of its mediating role for children from grades 1 to 4. Scientific Studies of Reading. 19(3):224–242.
crossref pmid pmc
Kim, YS, Wagner, RK., & Foster, E. (2011). Relations among oral reading fluency, silent reading fluency, and reading comprehension: a latent variable study of first-grade readers. Scientific Studies of Reading. 15(4):338–362.
crossref pmid pmc
Kim, YSG, Gatlin, B, Al Otaiba, S., & Wanzek, J. (2018). Theorization and an empirical investigation of the component-based and developmental text writing fluency construct. Journal of Learning Disabilities. 51(4):320–335.
crossref pmid pmc
Kim, YT, Hong, GH, Kim, GH, Jang, HS., & Lee, JY. (2009). Receptive and Expressive Vocabulary Test (REVT). Seoul: Seoul Community Rehabilitation Center.

Ku, KY, Seol, AY., & Pae, SY. (2015). Elementary school aged children’s reading fluency in terms of family income and receptive vocabulary. Phonetics and Speech Sciences. 7(2):29–38.
crossref
Kuhn, MR., & Stahl, SA. (2003). Fluency: a review of developmental and remedial practices. Journal of Educational Psychology. 95(1):3–21.
crossref
LaBerge, D., & Samuels, SJ. (1974). Toward a theory of automatic information processing in reading. Cognitive Psychology. 6(2):293–323.
crossref
Landerl, K., & Wimmer, H. (2008). Development of word reading fluency and spelling in a consistent orthography: an 8-year follow-up. Journal of Educational Psychology. 100(1):150–161.
crossref
McKeown, MG, Beck, IL, Omanson, RC., & Perfetti, CA. (1983). The effects of long-term vocabulary instruction on reading comprehension: a replication. Journal of Reading Behavior. 15(1):3–18.
crossref
National Reading Panel. (2000) Teaching children to read: An evidence-based assessment of the scientific research literature on reading and its implications for reading instruction: reports of the subgroups. National Institute of Child Health and Human Development, National Institutes of Health.

Ouellette, GP. (2006). What’s meaning got to do with it: the role of vocabulary in word reading and reading comprehension. Journal of Educational Psychology. 98(3):554–566.
crossref
Pae, S, Kim, MB, Yoon, HJ., & Jang, S. (2015). Korean language based reading assessment (KOLRA). Seoul: Hakjisa.

Pae, S, Shin, G., & Seol, A. (2017). Developmental characteristics of word decoding and text reading fluency among Korean children with developmental dyslexia. Communication Sciences & Disorders. 22(2):272–283.
crossref
Park, H. (2014). Korean version of comprehensive test of nonverbal intelligence second edition (K-CTONI-2). Seoul: Mindpress.

Parker, R, Hasbrouck, JE., & Tindal, G. (1992). The maze as a classroom-based reading measure: construction methods, reliability, and validity. The Journal of Special Education. 26(2):195–218.
crossref
Paul, R., & Norbury, CF. (2012). Language disorders from infancy through adolescence. St Louis, MI: Elsevier Health Sciences.

Pikulski, JJ., & Chard, DJ. (2005). Fluency: bridge between decoding and reading comprehension. The Reading Teacher. 58(6):510–519.
crossref
Seidenberg, MS., & McClelland, JL. (1989). A distributed, developmental model of word recognition and naming. Psychological Review. 96(4):523–568.
crossref pmid
Seol, AY. (2016). Predicting reading comprehension with vocabulary, decoding, and oral reading fluency in Korean children with/without reading difficulties. (Doctor’s dissertation). Hallym University, Chuncheon, Korea.

Shin, GY., & Pae, S. (2020). The development of spelling for children with/without spelling difficulties. Communication Sciences & Disorders. 25(3):581–593.
crossref
Vellutino, FR. (1987). Dyslexia. Scientific American. 256(3):34–41.
crossref pmid
Vellutino, FR, Tunmer, WE, Jaccard, JJ., & Chen, R. (2007). Components of reading ability: multivariate evidence for a convergent skills model of reading development. Scientific Studies of Reading. 11(1):3–32.
crossref
Wolf, M., & Katzir-Cohen, T. (2001). Reading fluency and its intervention. Scientific Studies of Reading. 5(3):211–239.
crossref
Woo, JH., & Kim, SS. (2012). A study of reading characteristics of students with reading disabilities: analyses of reading disability type, reading miscue type and text comprehension ability. Journal of Special Education & Rehabilitation Science. 51(3):197–218.

Yoon, HJ. (2015). Prediction of reading comprehension in early and late elementary grades: contribution of word decoding, vocabulary and syntactic knowledge. Communication Sciences & Disorders. 20(4):536–546.
crossref
Yoon, HJ. (2016). The role of reading accuracy and reading fluency in reading comprehension for school-aged children. Journal of Speech-Language & Hearing Disorders. 25(4):109–118.
crossref
Yoon, HJ. (2019). Word reading, reading fluency, and reading comprehension of first graders with and without vocabulary delay. Journal of Learner-Centered Curriculum and Instruction. 19(18):143–158.
crossref
Yu, H, Won, H., & Pae, S. (2021). Word decoding abilities of 1st graders with developmental dyslexia considering reading severity and word and syllable structure. Communication Sciences & Disorders. 26(3):589–600.
crossref

Appendices

Appendix 1.

오류유형 분석 예시

1) 오단서 분석(Miscue Analysis) 예시
오류유형 조작적 정의 어휘정상 난독집단 어휘부진 난독집단
대치 목표 음절이 아닌 다른 음절로 대치한 경우 썬다/썬다/ → /썰다/ 썬다/썬다/ → /진다/
생략 목표 음절을 생략한 경우 얹어준다/언저준다/ → /어준다/ 얹어준다/언저준다/ → /준다/
첨가 목표 음절에 다른 음절이 첨가된 경우 한입크기로/한닙크기로/ → /한이베크기로/ 한입크기로/한닙크기로/ → /한닙을크기로/
수정 오류를 보인 후 스스로 수정한 경우 말아/마라/ → /말아 마라/ 말아/마라/ → /발아 마라/
반복 목표 음절을 반복한 경우 발로/발로/ → /발로 발로/ 발로/발로/ → /발 발로/
2) 언어패턴 분석(Linguistic Pattern Analysis) 예시
오류유형 조작적 정의 어휘정상 난독집단 어휘부진 난독집단
자소-음소 일치형 실제 발음과 표기법이 같은 음절에서 오류를 보인 경우 살짝/살짝/ → /쌀짝/ 살짝/살짝/ →/쌀짱/
자소-음소 불일치형 음운규칙이 포함된 음절에서 오류를 보인 경우 익으면/이그면/ → /익으면/ 익으면/이그면/ → /인쓰면/
문법형태소 문법형태소가 포함된 음절에서 오류를 보인 경우 재료를/재료를/ → /재료는/ 재료를/재료를/ → /재료을/
Editorial office contact information
Department of Audiology and Speech-Language Pathology
College of Bio and Medical Science, Daegu Catholic University,
Hayang-Ro 13-13, Hayang-Eup, Gyeongsan-si, Gyeongbuk 38430, Republic of Korea
Tel: +82-502-196-1996   Fax: +82-53-359-6780   E-mail: kjcd@kasa1986.or.kr

Copyright © by Korean Academy of Speech-Language Pathology and Audiology.
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Developed in M2PI