| Home | E-Submission | Sitemap | Contact Us |  
top_img
Commun Sci Disord > Volume 24(2); 2019 > Article
허구적 이야기 평가를 위한 사회적 타당도 연구

초록

배경 및 목적

본 연구에서는 학령기 아동이 산출한 허구적 이야기에 대한 일반인과 교사 언어재활사의 주관적 평가 기준을 파악하고자 하였다.

방법

일반인, 교사, 언어재활사에게 아동의 이야기를 듣고 평가하도록 하였다. ‘좋은 이야기’로 평가 일치가 이루어진 이야기에 대해서 특징을 주관적으로 기술하도록 한 뒤 피험자 집단별로 비교 분석하였다. ‘좋은 이야기’와 ‘부족한 이야기’의 C-unit 수와 이야기문법 점수를 비교하였다. 마지막으로, 피험자들에게 이야기 평가에 있어서 5가지 범주 20개 항목에 대하여 중요도를 7점 척도로 표기하도록 하였다.

결과

첫째 아동의 이야기의 50%에 대해서 ‘좋은 이야기’와 ‘부족한 이야기’로 평가가 일치하였다. 둘째, 피험자들은 평가 기준에 대해 통일성, 이야기문법 구조, 창의력과 상상력 및 말 관련 요소 순으로 기술하였다. 셋째, ‘좋은 이야기’는 ‘부족한 이야기’에 비하여 C-unit의 수가 많고 이야기문법 점수가 높았다. 넷째, 피험자는 연구자가 제시한 이야기 5가지 평가항목 중에서 이야기문법 범주 항목의 중요도를 가장 높게 평가하고 구문을 낮게 평정하였다.

논의 및 결론

일반인 교사 언어재활사 모두 이야기를 평가할 때 텍스트 수준에서의 이야기 내용과 형식이 갖추어진 이야기를 ‘좋은 이야기’로 평가하였다. 일반인과 교사의 이야기 평가 기준은 대체로 일치하였으며 통일성, 이야기문법과 관련된 요소 이외에도 이야기의 창의력과 상상력에 대한 평가도 중요하게 간주하였다.

Abstract

Objectives

This study explored the social validation of narrative assessment.

Methods

A total of 60 laypersons, teachers, and speech language pathologists (SLPs) used interval scaling to rate the quality of narratives produced by 16 third-grade children. They were asked to write their subjective criteria about what contributes to narrative quality evaluation. They also completed a 20-item questionnaire. They assigned a number from a 7-point scale to indicate the extent to which 20 items influenced their quality ratings. The 20 items related to either vocabulary, story grammar, syntax, fluency, or sparkle. ‘Good narratives’ and ‘poor narratives’ were compared on dimensions of the number of C-units and story grammar analysis.

Results

Agreement among laypersons, teachers and SLPs was found for a subset of ‘good narratives’ and ‘poor narratives’, which constituted 50% of the total narratives. ‘Good narratives’ have more C-units and story grammar elements than ‘poor narratives’. The responses to questions about ‘good narrative quality’ fell into 12 categories based on similarity of content. Coherence, story grammar, Creativity & Imagination, and characteristics concerning speech were ranked high by all listener groups. Relative to these aspects, grammar was ranked low.

Conclusion

The judgements of the overall narrative quality were related to textual-level dimensions of form and content but had little relation to sentential-level dimensions. Laypersons and teachers generally agreed on the criteria for evaluating narratives. They paid more attention to creativity and imagination than SLPs.

이야기는 학령기 아동이 학교에서의 학업과 일상적인 대화에서 매일 접하게 되는 중요한 언어 영역이다(Nippold, 2007). 이야기는 실제 생활에서의 언어사용 능력을 평가하기에 좋은 맥락이 되어 이야기 평가는 생태학적 타당도(ecological validity)가 높은 언어평가 방법이라고 할 수 있다(Hughes, McGillivray, & Schmidek, 1997). 또한 아동의 이야기 능력은 이후의 언어발달 수준이나 학업 능력과 상관이 있어 언어장애 평가와 언어 중재 프로그램에 폭넓게 채택되고 있다(Schneider & Winship, 2002). 우리나라에서도 언어장애를 동반한 학령기 아동의 이야기 발달특성(Cho & Lee, 2017; Hwang, 2008; Kim, Ahn, & Seo, 2007; Kwon & Pae, 2009)과 이야기 중재 연구(Cheon & Kim, 2007; Jeong & Park, 2012)가 다양하게 이루어지고 있다. 그러나 현재까지 학령기 아동의 이야기 능력과 관련된 연구들은 영어권에서 자주 사용되는 이야기 평가도구와 분석방법을 주로 사용하고 있다. 우리나라 아동의 이야기 능력을 적절하게 평가하고 이야기 중재 효과를 확인할 수 있는 평가도구를 개발하기 위하여 우리나라 상황에 맞는 이야기 평가에 대한 연구가 필요한 상황이다.
이야기는 아동이 성장하는 문화적인 배경에 영향을 많이 받는 언어영역이다. 이야기 수준을 평가할 때 아동이 속한 사회에서 일반적으로 받아들여지는 이야기의 평가 기준이 반영되어야 문화적인 차이와 언어장애를 구별할 수 있다(Rollins, McCabe, & Bliss, 2000). 언어는 사회적 교환 수단이기 때문에 사회적 교환의 참여자들은 화자의 언어적 수행과 비언어적 행동뿐 아니라 청자 자신의 경험이나 편견에 의해 야기되는 복잡하고 역동적인 과정을 통해서 언어의 질적인 수준을 판단하게 된다(Kent, 1996). 임상현장에서 언어의 사회적 교환 수단의 속성을 고려하여 아동이 속한 사회적 공동체의 요구 수준을 반영하기 위해서는 언어학적 분석 훈련을 받지 않은 일반인의 아동의 이야기 수준에 대한 판단과 언어재활사의 언어학적 분석 결과를 비교해 보고 일반인의 이야기 평가는 무엇을 토대로 이루어져 있는지 파악해 보는 것이 필요하다(Schneider & Winship, 2002). ‘좋은 이야기’라는 것에 대한 사회적 구성원의 공통의 관점을 파악하여 화자가 속한 사회에서 전형적으로 이해될 수 있는 평가 기준이 마련되어야 한다(Rollins et al., 2000; Schneider & Winship, 2002).
사회적 타당도(social validity)는 사회에서 중요하게 생각하는 행동이 실질적으로 사회적 공동체 요구에 충족되거나 적용되는 정도라고 정의할 수 있다(Campbell & Dollaghan, 1992). 이야기 평가와 중재 시 사용되는 사회적 타당도가 높은 평가는 대상자가 속한 사회의 청자의 판단에 기초를 두어야 한다(Campbell & Dollaghan, 1992; Newman & McGregor, 2006; Schneider & Winship, 2002). Schneider와 Winship (2002)은 언어중재의 가장 중요한 목표가 일상생활에서 이루어지는 의사소통 능력의 향상이므로 언어재활사의 이야기 능력 측정 결과를 훈련받지 않은 일반인 청자의 ‘좋은 이야기’에 대한 판단과 비교해 보는 것이 유용하다고 하였다. 연구자들은 좋은 이야기에 관한 일반인 청자의 판단 근거를 알아보기 위해 임상현장에서 주로 평가하는 대형구조와 소형구조의 4가지 측면(이야기문법 요소, 이야기문법 구조 패턴, 연결어, 참조표현)이 상중하 수준으로 조작된 12개의 이야기를 고안하여 평가하도록 하였다. 일반인은 주인공의 생각이나 감정이 포함된 내적 반응 이야기문법 요소가 포함된 이야기와 주인공의 목표 지향적인 행동이 포함된 이야기를 좋은 이야기로 평가하였다. 참조표현은 적절성에만 민감하였고 연결어 사용의 유무는 평가에 영향을 주었으나 구문의 복잡성 여부는 평가에 영향을 주지 않았다. 그러나 이 연구에 사용된 이야기는 아동이 직접 산출한 이야기가 아닌 연구를 위해 고안된 이야기였다. 이러한 연구의 결과는 언어재활사가 관심을 갖는 이야기 특징에 대한 일반인의 민감도에 대한 정보를 제공할 수는 있으나 사회적 타당도를 위해서는 아동의 실제 이야기에 대한 일반인 청자 판단에 대한 정보가 필요하다.
아동이 실제 산출한 이야기에 대한 청자 판단 연구를 살펴보면 청자 집단에 일반인만을 포함한 연구 외에 교사집단을 포함한 연구도 이루어졌다. 평가의 사회적 타당도를 위해 아동의 학업생활과 밀접한 관련이 있는 교사 집단의 판단 기준에 대한 정보는 매우 중요하다. McFadden과 Gillam (1996)은 교사에게 일반아동과 언어장애 아동의 허구적 이야기를 듣고 분석적으로 평가하는 것이 아니라 이야기 수준에 대한 전체적인 인상에 대한 점수를 부여하는 방법인 전반적인 평가 절차(holistic scoring procedure)에 따라 평가하도록 하였다. 교사와 언어재활사의 평가를 비교한 결과 교사도 언어재활사와 마찬가지로 언어장애 아동의 이야기 수준을 일반아동에 비해 낮게 평가하였다. 이러한 결과는 아동의 언어중재 결정에 교사의 평가를 반영하는 것이 타당하다는 것을 보여주었다. 교사가 아동의 이야기에 부여한 점수는 문장 수준에서 측정한 언어분석 결과와는 상관이 나타나지 않았으나 텍스트 수준에서 측정한 언어분석 결과와는 상관이 높게 나타났다. 교사들은 아동의 이야기 수준을 파악할 때 문법적으로 길고 복잡한 발화에 영향을 받지 않고 텍스트 수준에서 이야기 구성 요소가 더 많이 포함된 긴 이야기를 좋은 이야기로 평가하였다. 그러나 이 연구에는 아동의 발달이나 교육에 대한 훈련을 받지 않은 일반인은 포함되지 않아 연구결과를 전체 사회구성원의 기준으로 일반화하는 데 한계가 있다.
EerNisse, Willbrand와 Milosky (1989)는 일반인에게 학습장애가 있는 아동과 없는 아동이 포함된 18명의 아동의 이야기에 대하여 평가하는 질문지를 완성하도록 하였다. 문항 분석을 실시한 결과 일반인 평가는 6개의 문항(이야기 구성, 화자 매력, 응집성, 명확한 표현, 산출성, 정보의 양)에서 학습장애가 있는 아동의 이야기를 구별하였다. 전문지식이 없는 일반인도 아동의 이야기의 질적인 차이를 구별할 수 있는 능력이 있음을 확인할 수 있었다는 점에서는 의미가 있으나 연구자에 의해 미리 선택된 범주에 대해서 평가가 이루어지도록 했다는 점에서 일반인의 주관적 평가 기준에 대한 전반적인 정보를 파악하는 데는 제한점이 있다(Schneider & Winship, 2002). 주관적인 평가 기준에 대한 설문조사를 실시할 때 연구자에 의해 선택된 항목을 제시하는 것이 아니라 청자 집단이 중요하게 간주하는 평가 기준을 자유롭게 표현할 수 있도록 하는 연구방법에 대한 고려가 필요하다.
Newman과 McGregor (2006)는 교사와 일반인을 모두 청자 집단에 포함시켜 아동 이야기 평가 기준에 대한 연구를 실시하였으며 교사와 일반인의 성별, 육아경험 등의 요소도 통제하여 연구를 실시하였다. 두 청자 집단에게 아동의 이야기를 듣고 7점 척도로 이야기 수준에 대해 평가하도록 한 직후에 평가에 적용한 기준에 대한 설문조사를 실시하였다. 설문지는 선행연구를 바탕으로 어휘, 이야기문법, 문법, 유창성, 재치와 관련된 20개의 문항으로 구성되었으며 각 문항에 대해 평가에 영향을 준 정도를 7점 척도로 평가하도록 하였다. 교사와 교육경험 없는 일반인 모두 단순언어장애 아동의 이야기를 선별할 수 있었으며 문법, 유창성, 재치에 비하여 어휘, 이야기문법 요소에 주의를 기울여 평가를 실시한 것으로 나타났다. 이러한 결과는 교사 및 일반인의 평가를 언어장애 아동의 평가 과정에 포함시키는 점에 대해 타당성을 부여하였다. 그러나 선행연구와 마찬가지로 연구자가 이미 정해 놓은 항목의 영향력만을 파악하여 이야기 평가 시 고려하는 좋은 이야기에 대한 주관적인 평가 기준을 충분히 파악하지 못하였다.
우리나라 사람들에게 ‘좋은 이야기’로 평가될 수 있는 이야기 평가 기준에 대한 연구는 사회적 타당도가 있는 이야기 평가 판단 기준을 제공할 뿐만 아니라 이야기 중재 시 중재 목표설정과 치료효과를 증명하는 데도 중요한 정보를 제공할 수 있다. 본 연구는 Streit Olness, Ulatowska, Carpenter, Williams-Hubbard와 Dykes (2005)가 일반 성인의 경험이야기 평가를 위해 실시한 사회적 타당도 연구방법을 적용하여 피험자 집단에게 학령기 아동이 산출한 허구적 이야기를 듣고 평가하도록 한 뒤 평가 기준에 대한 두 가지 설문조사를 실시하고 분석하였다. 학령기 아동의 일상생활에서 중요한 청자인 일반인 성인과 교사를 피험자 집단에 포함시켰으며, 피험자 집단에 언어재활사도 포함시켜 임상현장에서 이루어지는 평가와 아동의 일상생활에서 이루어지는 평가 간의 차이도 분석하고자 하였다. 연구 문제는 다음과 같다.
  • 1) 일반인, 교사 및 언어재활사 집단의 학령기 아동의 허구적 이야기에 대한 전반적인 평가 점수는 일치하는가?

  • 2) 일반인, 교사 및 언어재활사의 주관적인 이야기 평가 기준은 어떠한가?

  • 3) ‘좋은 이야기’와 ‘부족한 이야기’의 이야기문법 점수와 C-unit 수에서 차이가 나타나는가?

  • 4) 일반인, 교사 및 언어재활사의 이야기 평가 항목에 대한 중요도 평가에 어떤 차이가 나타나는가?

연구방법

피험자

본 연구의 피험자는 총 60명으로 서울, 경기도, 충청남도 및 전라북도에 사는 일반 성인 20명, 초등학교 교사 20명 언어재활사 20명이었다. 성별과 학력이 연구결과에 미칠 수 있는 영향력을 고려하여 모든 피험자는 3년제 대학졸업 이상 여성으로 통제하였다.

일반인 집단

일반인 집단은 Newman과 McGregor (2006)의 연구에 근거하여 이야기 화자가 초등학교 3학년이라는 점을 고려하여 초등학교 3학년 이상에 재학 중인 아동을 자녀로 둔 어머니 20명을 대상으로 하였다. 일반인 집단의 학력은 전문대학 졸업 10명, 4년제 졸업 8명 대학원 졸업 2명이었다.

교사 집단

교사 집단 또한 선행연구에 근거하여 초등학교 교사 20명을 대상으로 하였으며 성별 일치를 위해 모두 여교사 20명을 대상으로 하였다. 교사들은 모두 4년제 대학 이상을 졸업하였으며 2명을 제외하고 모두 2년 이상의 경력을 가지고 있었다.

언어재활사 집단

언어재활사 집단은 4년제 대학에서 언어치료학을 전공하고 국가 자격증을 갖고 있는 여자 언어재활사 20명을 대상으로 하였다. 이 중 3명을 제외하고 모두 2년 이상의 언어치료사 경력을 갖고 있었다. 세 집단의 연령에 대한 정보는 Table 1에 제시하였다.
Table 1.
Participants’ characteristics
  Laypersons (N = 20) Teachers (N = 20) SLPs (N = 20)
Age (yr) 38.95 (3.38) 31.15 (5.74) 27.15 (2.61)

Values are presented as mean (SD).

SLPs=speech language pathologists.

연구절차

이야기 자료

피험자들에게 제공한 이야기 자료는 초등학교 3학년 아동들이 자발적으로 산출한 ‘도깨비 이야기’ 과제(Kim, Hwang, & Kim, 2018)이다. ‘도깨비 이야기’는 아동이 한 장 그림을 보고 이야기를 자발적으로 꾸며서 말하도록 하는 과제로 본 연구에서는 일반 초등학교에 다니는 3학년 아동 16명이 산출한 이야기(Kim et al., 2018)였다. 이 아동들은 모두 주 양육자가 인지, 정서, 행동, 감각기관 등에 문제가 없다고 보고하였으며, 수용 ·표현어휘력검사(Receptive & Expressive Vocabulary Test; Kim, Hong, Kim, Jang, & Lee, 2009) 결과가 −1 SD 이상에 해당되었다. 16명 아동이 산출한 이야기의 길이는 C-unit의 수로 세었을 때 범위는 4-22개, 평균은 10.81, 표준편차는 5.23이었다. 본 연구의 피험자 내 신뢰도 측정을 위해 16명의 아동자료 중 3명의 자료를 무작위로 선정하여 피험자들이 2번씩 들을 수 있도록 하여 이야기 녹음파일을 총 19개로 구성하였다.

설문지

설문지는 총 네 부분으로 구성하였다. 첫 번째 설문지는 실험에 대한 지침과 피험자의 연령과 교육력을 묻는 내용으로 구성하였으며, 두 번째 설문지는 피험자들이 19개의 이야기를 평가하기 위한 지침과 ‘도깨비 이야기’ 그림 및 4점 척도로 평정하는 평가지로, Streit Olness 등(2005)의 연구를 참조하여 작성하였다. 피험자들이 제시한 그림을 보면서 아동의 이야기를 듣고 이에 대해 최소 1점에서 최대 4점까지 자유롭게 점수를 부여하도록 하는 내용으로 구성하였다. 세 번째 설문지는 피험자가 ‘좋은 이야기’와 ‘부족한 이야기’라고 평가하는 기준을 주관적으로 기술하도록 두 개의 빈칸을 포함하였다. 네 번째 설문지는 Newman과 McGregor (2006)가 제시한, 이야기에 영향을 주는 5개의 범주(어휘, 이야기문법, 구문, 유창성, 생동감)의 총 20개의 항목으로 이루어진 7점 척도의 평가지(Appendix 1)로 구성하였다.

실시 절차

피험자들은 네 가지의 설문지를 순서대로 실시하되, 마지막 설문지 문항에 있는 항목들로 인해 주관적인 기술에 미칠 영향력을 배제하기 위해서 피험자들이 다음 설문지를 미리 보지 못하도록 하였다. 첫 번째로 지침과 배경정보를 묻는 설문지를 완성하게 한 후, 두 번째로 피험자들에게 아동들이 산출한 이야기를 무작위의 순서로 배치한 녹음파일을 들려주며 두 번째 설문지를 완성하게 하였다. 이때 피험자가 생각을 충분히 생각하고 평정할 수 있도록 시간을 제공하였으며, 다시 듣기를 원하는 경우 한 번 더 들려주었다. 세 번째로 ‘좋은 이야기’와 ‘부족한 이야기’라고 판단하여 점수를 준 이유에 대하여 주관적으로 자세하게 기술하도록 하였다. 마지막으로, 피험자들에게 5가지 범주 20개 항목에 대하여 앞선 이야기 평가에 있어서 얼마나 중요하게 생각했는지를 7점 척도로 표기하도록 하였다.

분석

집단 간 일치

피험자들이 각 이야기에 대해 평정한 점수는 1점에서 4점까지였으며, 각 피험자들이 평정한 점수는 각 피험자의 평균과 표준편차에 근거하여 Z-score로 변환하였다. 이는 각 피험자들의 평정 스타일을 고려한 것으로 평정 척도에 대해 높게 평정하는 경향을 보이는 피험자와 낮게 주는 경향을 보이는 피험자 간의 차이를 표준화하기 위한 것이다(Streit Olness et al., 2005).
각 피험자들의 Z점수는 각 피험자의 평균보다 높거나 낮은 경우 즉 Z점수가 양수인 경우와 음수인 경우로 나누어 분류하였다. 그리고 70% 이상의 피험자들이 본인의 평균 이상 점수 즉 양수 Z-score (+Z점수)를 준 이야기는 ‘좋은 이야기’로 분류하였으며, 70% 이상의 피험자들이 본인의 평균 이하 점수 즉 음수 Z-score (-Z점수)를 준 이야기는 ‘부족한 이야기’로 분류하였다. ‘좋은 이야기’와 ‘부족한 이야기’ 중 어디에도 해당되지 않는 경우에는 ‘중간 이야기’로 분류하였다. 세 집단이 각 이야기에 대하여 ‘좋은 이야기’, ‘부족한 이야기’ 그리고 ‘중간 이야기’로 일치하여 평가한 이야기 수를 산출하였다.

주관적 기술

각 집단의 피험자들이 생각하는 ‘좋은 이야기’와 ‘부족한 이야기’에 대한 특성에 대해 기술한 내용에 대하여 Streit Olness 등(2005)에서 제시한 항목들을 참고하고, 담화분석 경험이 있는 언어병리학 박사 1인을 포함하여 세 명의 연구자가 담화분석을 하고 충분한 논의를 통해 유사한 내용을 범주화하였다. 피험자들이 언급한 내용을 범주화한 후, 언급한 총 내용의 수를 분모로 하고 각 범주에 해당되는 범주의 수를 분자로 하여 집단별로 비율을 제시하였다.

‘좋은 이야기’와 ‘부족한 이야기’ 비교

피험자들이 ‘좋은 이야기’와 ‘부족한 이야기’로 평가한 이야기의 이야기문법 점수와 총 C-unit의 수를 산출하여 비교하였다.

이야기 평가 항목에 따른 평정

피험자들이 중요도로 평가한 20개 항목에 대해 평균과 표준편차를 산출하였다.

신뢰도

4점 척도 평정에 대한 피험자 내 신뢰도를 산출하기 위해 16명의 아동의 이야기 자료 중 3명의 아동의 이야기 자료를 무작위로 선정하여 모든 피험자들이 해당 자료를 2회 듣고 점수를 주게 하였다. 동일한 아동에 대하여 평가한 점수 간의 차이가 1점 이하인 경우를 기준으로 평가자 내 신뢰도를 산출한 결과, 일치도는 87%로 산출되었다.

연구결과

이야기 평가에 있어서 집단 간 일치

일반인, 교사 및 언어재활사들은 아동들이 산출한 이야기 총 16개의 이야기 중에서 50% 즉 8개 이야기에 대해 ‘좋은 이야기’와 ‘부족한 이야기’로 평가하는 데 있어서 일치하였다. 16개의 이야기 중에서 4개 이야기에 대해 세 집단 모두 ‘좋은 이야기’로 평가하였으며, 4개의 이야기에 대해 모두 ‘부족한 이야기’로 평가하였다(Table 2).
Table 2.
Narrative classification: laypersons, teachers, and SLPs
Classification by three groups Laypersons vs. teachers Laypersons vs. SLPs Teachers vs. SLPs Laypersons vs. teachers vs. SLPs
In agreement 10 (62.5) 11 (68.8) 10 (62.5) 8 (50)
  Good narrative 4 (25) 4 (25) 5 (31.3) 4 (25)
  Poor narrative 4 (25) 5 (31.3) 4 (25) 4 (25)
  Mixed-quality 2 (12.5) 2 (12.5) 1 (6.3) 0
In disagreement 6 (37.5) 5 (31.3) 6 (37.5) 8 (50)
  Good & poor 0 0 1 (6.3) N/A
  Mixed & good 3 (18.8) 4 (25) 2 (12.5) 4 (25)
  Mixed & poor 3 (18.8) 1 (6.3) 3 (18.8) 3 (18.8)
  Good, mixed, & poor N/A N/A N/A 1 (6.3)

Values are presented as number (%).

SLPs = speech language pathologists.

‘좋은 이야기’와 ‘부족한 이야기’에 대한 주관적 판단 기준

피험자들이 기술한 ‘좋은 이야기’와 ‘부족한 이야기’의 특징들을 내용의 유사성에 근거하여 12개의 범주로 체계화하였다. 피험자들의 기술 내용을 집단별로 살펴보았을 때 일반인 집단 92개, 교사 165개, 언어재활사 148개 총 405개로 나타났다. 피험자들이 기술한 내용을 담화분석을 통해 통일성(coherence), 이야기 구조(narrative structure), 주제(topic), 정교함(details), 구문(syntax), 어휘(vocabulary), 창의력과 상상력(creativity & imagination), 생동감(animation), 산출성(productivity), 말 관련 요소(speech), 그림과의 관련성(relation) 및 기타(etc.) 등 12개로 범주화하였다. 각 범주에 대한 내용은 Appendix 2에 제시하였다. 범주화한 결과, 전체 피험자들이 중요하게 생각하는 항목들은 통일성(22.5%), 이야기 구조(16.3%), 말 및 말 관련요소(14.3%), 창의력과 상상력(9.1%)의 순으로 나타났다. 그러나 중요하게 생각하는 평가항목은 각 집단마다 다소 다르게 나타났다(Table 3, Figure 1). 일반인들은 통일성(18.5%), 말 관련 요소(17.4%)와 창의력과 상상력(14.1%)의 순으로 언급의 빈도가 높았다. 교사들 또한 가장 많이 언급한 내용은 통일성으로 165개의 내용 중 48개(29.1%)가 이에 해당되었다. 그리고 이야기 구조(15.2%), 말 관련 요소(12.7%) 그리고 창의력과 상상력(11.5%)의 순서로 빈도가 높은 것으로 나타났다. 반면에 언어재활사의 경우, 가장 많이 언급된 내용은 이야기 구조로 148개 중 32개(21.6%)가 이에 해당되었다. 그리고 통일성(17.6%)과 구문(14.9%)의 순서로 높게 나타났다.
Figure 1.
Percentage of comments in each category by laypersons, teachers, and speech language pathologists (SLPs). Co=coherence; NS=narrative structure; T=topic; D=details; Sy=syntax; Vo=vocabulary; C & I=creativity & imagination; A=animation; P=productivity; S=speech; R=relevance to pictures; E=etc.
csd-24-2-332f1.jpg
Table 3.
The number and percentage of comments in each category by laypersons, teachers, and SLPs
Category Laypersons Teachers SLPs Total
Coherence 17 (18.5) 48 (29.1) 26 (17.6) 91 (22.5)
Narrative structure 9 (9.8) 25 (15.2) 32 (21.6) 66 (16.3)
Topics 6 (6.5) 4 (2.4) 7 (4.7) 17 (4.2)
Details 8 (8.7) 9 (5.5) 9 (6.1) 26 (6.4)
Syntax 3 (3.3) 7 (4.2) 22 (14.9) 32 (7.9)
Vocabulary 7 (7.6) 6 (3.6) 8 (5.4) 21 (5.2)
Creativity & imagination 13 (14.1) 9 (11.5) 5 (3.4) 37 (9.1)
Animation 5 (5.4) 10 (6.1) 7 (4.7) 22 (5.4)
Productivity 0 10 (6.1) 7 (4.7) 10 (2.5)
Speech related 16 (17.4) 21 (12.7) 21 (14.2) 58 (14.3)
Relevance to picture 3 (3.3) 6 (3.6) 4 (2.7) 13 (3.2)
Etc. 5 (5.4) 7 (4.2) 0 12 (3.0)
Total 92 (100) 165 (100) 148 (100) 405 (100)

Values are presented as number (%).

SLPs = speech language pathologists.

‘좋은 이야기’와 ‘부족한 이야기’ 비교

16개의 이야기 중에서 세 집단 모두에서 일치한 이야기는 8개의 이야기로 이 중 4개의 이야기는 ‘좋은 이야기’로 평가되었으며 4개의 이야기는 ‘부족한 이야기’로 평가되었다. 실험 자료인 아동의 이야기를 이야기 평가 루브릭(Kim et al., 2018)에 의거하여 채점한 결과, ‘좋은 이야기’의 이야기문법 점수는 평균 14.75점(범위 13-17)이었으며 ‘부족한 이야기’의 이야기문법 점수는 평균 8.25점(범위 1-12)이었다. 또한 ‘좋은 이야기’와 ‘부족한 이야기’의 이야기 길이와의 관련성을 살펴보기 위해 총 C-unit의 수를 산출한 결과, ‘좋은 이야기’의 C-unit의 수는 평균 14 (범위 7-22)이었으며 ‘부족한 이야기’의 C-unit수 평균은 6.5 (범위 5-10)로 산출되었다. 결론적으로 ‘좋은 이야기’로 평가된 이야기는 ‘부족한 이야기’와 비교할 때, 이야기문법 점수가 높고 C-unit의 수도 많은 것으로 나타났다.

이야기 평가 항목에 따른 평정

Newman과 McGregor (2006)의 연구에서 제시한, 이야기의 질 평가에 영향을 미치는 5개의 범주(어휘, 이야기문법, 구문, 유창성, 생동감)로 구성된 20개의 항목에 대해 피험자들로 하여금 7점 척도로 그 중요도를 평정하게 하였다. 분석결과, 일반인 집단은 이야기문법(5.6), 어휘(5.01), 유창성(4.79), 생동감(4.55), 구문(4.06)의 순으로 중요하게 생각하는 것으로 나타났다. 교사 집단의 경우, 이야기문법(5.51), 어휘(5.1), 유창성(4.59), 생동감(4.21)의 순으로 나타났다. 마지막으로 언어재활사의 경우 이야기문법(5.64), 어휘(4.64), 구문(4.09), 유창성(3.83), 생동감(3.66)의 순으로 나타났다(Table 4, Figure 2). 피험자들은 대체로 아동들의 이야기 평가 시 이야기문법 범주를 가장 높게 평정하고, 구문을 다소 낮게 평정하는 등 유사한 패턴을 보였으나 언어재활사 집단은 다른 두 집단과 달리 유창성과 생동감 범주를 가장 낮게 평정하였다.
Figure 2.
Comparison among three groups of rating scores which the subjects reported listening to given aspects of narration.
csd-24-2-332f2.jpg
Table 4.
Mean rating scores according to five categories by laypersons, teachers, and SLPs
Category Laypersons Teachers SLPs
Vocabulary 5.01 5.1 4.64
Narrative structure 5.6 5.51 5.64
Syntax 4.06 3.94 4.09
Fluency 4.79 4.59 3.83
Sparkle 4.55 4.21 3.66

SLPs = speech language pathologists.

논의 및 결론

본 연구에서는 일반인, 초등학교 교사, 언어재활사에게 초등학교 3학년 아동들이 한 장 그림을 보고 스스로 꾸며 말한 허구적 이야기 녹음 파일을 듣고 이야기 수준을 평가하도록 하였다. 이야기를 평가한 후 이야기를 평가하는 데 적용한 자신의 주관적인 평가 기준을 설문지에 기술하도록 하였으며 연구자가 제시한 평가 기준에 대해서 자신의 이야기 평가에 영향을 미친 정도를 평가하도록 하였다. 설문조사 결과를 비교하여 ‘좋은 이야기’로 판단하는 이야기 평가 기준에 대해서 알아보고자 하였다.

이야기 평가에 있어서 집단 간 일치

일반인, 초등학교 교사 및 언어재활사가 아동의 이야기 녹음파일을 듣고 평가한 이야기 점수를 비교한 결과, 세 집단 모두에게 좋은 이야기로 평가된 이야기가 25%, 부족한 이야기로 평가된 이야기가 25%로 전체 이야기 중 50%의 이야기의 평가가 일치하였다. 세 집단의 평가가 일치된 평가는 좋은 이야기와 부족한 이야기에서 나타난 반면, 평가가 일치하지 않은 이야기들은 한 사례만 제외하고 좋은 이야기와 중간수준의 이야기, 부족한 이야기와 중간 수준의 이야기로 불일치하는 것으로 나타났다. 이와 같은 연구 결과는 Streit Olness 등(2005)의 일반 성인의 개인적 이야기에 대한 언어재활사와 일반인의 평가 기준에 관한 연구 결과와 일치하였다. Streit Olness 등(2005)은 평가가 일치한 지점이 평가의 양극단 즉, 좋은 이야기와 부족한 이야기라는 점이 주목할 만한 결과라고 하였다. 연구자들은 평가자마다 평가 기준과 평가 기준에 대한 정의가 다를 수 있기 때문에 평가의 일치도가 높지 않은 것은 자연스런 결과이며, 중요한 것은 평가의 일치 수준이 아니라 평가가 일치된 지점의 이야기를 정의할 수 있는 이야기의 특징을 파악하는 것이라고 하였다.
본 연구에서 피험자들이 평가한 이야기는 동일한 연령의 아동이었으며 어휘력 검사로 평가했을 때 언어능력이 정상 범주에 속하는 일반 아동이었다. 일반아동이 산출한 이야기임에도 불구하고 이야기가 ‘좋은 이야기’와 ‘부족한 이야기’로 나누어진 본 연구의 결과는 아동의 이야기 평가에 일관되게 적용되는 기준이 있다는 것을 반영한 것으로 볼 수 있다. 그러므로 성인 평가자들이 아동의 이야기를 듣고 ‘좋은 이야기’와 ‘부족한 이야기’로 평가하게 되는 주관적 판단 기준을 파악하는 것이 필요하다. 우리나라 사람들에게 ‘좋은 이야기’로 인식되는 판단 기준에 대한 정보는 이야기 평가의 사회적 타당도 확보에 기초 자료로 사용될 수 있다.

‘좋은 이야기’에 대한 주관적 판단

Baron과 Bluck (2011)은 이야기 수준을 평가하는 지표를 개발하기 위해서 사회 구성원들이 가지고 있는 ‘좋은 이야기’에 대해 가지고 있는 암묵적인 이론(implicit theory)을 파악하고자 하였다. 이러한 이야기 연구방법은 타인에 의해 지각되는 이야기의 수준과 관련이 있는 이야기의 측면을 개념화하는 데 초점을 맞추는 사회적인 연구 방법으로서 이야기의 소형구조와 대형구조를 분석하는 연구방법의 대안적인 방법이 된다. ‘좋은 이야기’에 대한 암묵적 이론을 알아내기 위해서 일반인에게 자기 보고 방식으로 유도할 경우 실제 적용하는 이론과의 차이가 나타날 가능성이 있기 때문에, Baron과 Bluck (2011)은 실제 이야기를 평가하는 과정을 통해 암묵적인 이론을 분석하였다. 본 연구에서도 피험자들에게 실제로 아동의 이야기를 평가하도록 한 뒤 ‘좋은 이야기’로 평가한 이야기의 특성을 기술해 보도록 하는 방식으로 이야기 평가에 적용한 피험자들의 주관적인 평가 기준을 유도하여 분석하였다.
본 연구에서는 일반인, 초등학교 교사 및 언어재활사가 기술한 ‘좋은 이야기’ 특징들을 내용의 유사성에 근거하여 12개의 범주로 체계화하여 분석하였다. 연구결과 전체 피험자들이 중요하게 생각하는 항목들은 통일성(22.5%), 이야기문법 구조(16.3%), 말 관련 요소(14.3%), 창의력과 상상력(9.1%) 순으로 나타났다. 이러한 결과는 피험자 모두 이야기를 평가할 때 문장 단위의 정확도나 복잡성을 기준으로 판단하는 것이 아니라 이야기 전체를 구성하는 내용과 구조 측면에서 평가하는 것으로 볼 수 있다. McFadden과 Gillam (1996)의 연구에서도 일반 교사와 특수학급 교사에게 전반적인 이야기 평가 점수가 높게 나타난 아동의 이야기는 문장 수준에서의 정확성, 복잡성은 상관이 없었다. 텍스트 수준에서 이야기 문법적인 요소가 많이 포함되어 있거나 이야기의 흐름을 적절하게 연결해 주는 연결사의 사용이 많은 이야기가 전반적인 평가 점수가 높게 나타났다. 말 관련 요소 및 창의력과 상상력도 높은 순위로 나타난 것은 평가 대상이 된 이야기가 일반아동이 산출한 이야기로 이야기의 구조나 통일성이 기본적인 수준이 이미 충족된 이야기이기 때문에 Baron과 Bluck (2011)의 연구와 마찬가지로 관심을 갖게 되는 요인으로 볼 수 있다.
본 연구에서 일반인과 교사에 비해서 언어재활사는 좋은 이야기의 특징으로 이야기문법, 통일성, 구문에 대해 높이 평가하고 일반인과 교사의 높이 평가한 창의력과 상상력 및 말 관련 요소에 대한 기술은 비교적 비중이 낮았다. 언어재활사의 경우 언어 발달 수준이 낮은 언어장애 아동을 대상으로 이야기 중재를 실시하는 데 초점이 맞추어져 일반인과 교사가 중요하게 판단하는 이야기 특징을 간과할 수 있는 가능성이 있다. 언어장애를 가지고 있는 아동의 경우에도 학년이 높아짐에 따라 이야기의 기본적인 구성 요소를 갖추어 이야기를 말할 수 있게 된 이후에 좀 더 높은 수준의 이야기로 발달하기 위해서는 평가와 중재의 초점이 이야기 내용의 참신성이나 이야기를 전달하는 억양이나 말하는 방식에도 맞추어질 필요가 있다.

‘좋은 이야기’와 ‘부족한 이야기’ 비교

피험자 세 집단 모두에서 평가한 일치한 ‘좋은 이야기’와 ‘부족한 이야기’의 이야기문법 점수와 이야기 당 C-unit의 수를 분석한 결과 ‘좋은 이야기’가 ‘부족한 이야기’에 비하여 이야기 점수가 높고 C-unit의 수가 더 많았다. 이러한 결과는 텍스트 수준에서 분석한 내용과 형식의 측면에서 높은 수준의 이야기가 전반적인 평가 점수도 높게 나타난다는 McFadden과 Gillam (1996)의 연구결과와 일치하는 결과이다.
이야기의 주관적 평가와 객관적 평가 지표와의 관련성을 연구한 선행연구에서는 본 연구결과와 마찬가지로 공통적으로 이야기 문법적인 요소가 이야기 전반적인 질 평가에 영향을 주는 것으로 나타났다(Lê, Coelho, Mozeiko, & Grafman, 2011; Newman & McGregor, 2006; Schneider & Winship, 2002). 그러나 ‘좋은 이야기’의 특징을 완벽하게 설명할 수 있는 객관적인 측정 방법을 찾아내는 데 어려움이 있다(McCabe & Peterson, 1984). 이야기의 객관적인 측정 결과가 주관적 평가와의 상관이 높은 수준이 아닐 뿐만 아니라(McFadden & Gillam, 1996), 객관적인 평가 지표와 주관적인 평가의 관계는 절대적인 것이 아니기 때문에 언어재활사는 이야기 평가 시 주관적인 평가와 객관적인 측정 결과를 보완하여 아동의 이야기 수준을 판단할 필요가 있다(Newman & McGregor, 2006).

이야기 평가 항목에 따른 평정

영어권과 우리나라 청자의 이야기 평가 기준의 차이가 있는지 비교해 보기 위하여 Newman과 McGregor (2006)의 연구에서 사용한 이야기 평가 항목에 대해서 피험자에게 중요도를 평가하도록 하였다. 우리나라의 피험자들은 이야기문법 범주를 가장 중요하게 평가하고 구문을 상대적으로 낮게 평가하였다. 일반인과 교사는 중요도 평가 패턴이 유사하게 나타났으나 언어재활사는 유창성과 생동감 범주를 일반인과 교사에 비해 중요도를 낮게 평가하였다.
Newman과 McGregor (2006)의 연구에서는 일반인과 교사에게 단순언어장애 아동과 일반아동이 자발적으로 산출한 허구적 이야기를 듣고 이야기 수준을 평가하도록 한 뒤 이야기 평가 항목의 중요도를 평가하게 하였다. Newman과 McGregor (2006)의 연구에서도 본 연구와 마찬가지로 이야기문법 범주의 중요도가 높게 나타났다. 그러나 어휘와 구문의 중요도가 우리나라의 일반인과 교사에 비해 높게 평가되었다. 본 연구에서는 언어발달의 문제가 없는 일반아동의 이야기를 평가하도록 하여 어휘와 구문 표현의 문제가 두드러지게 나타나지 않아 중요도가 상대적으로 낮게 평가되었을 가능성을 고려해 볼 수 있다. Newman과 McGregor (2006)의 연구에서 일반인은 교사에 비하여 생동감을 높게 평가하였으나 우리나라 일반인과 교사는 대부분의 항목의 중요도 평가가 유사하였다.
본 연구에서는 언어재활사의 이야기 평가 기준에 대한 관점이 일반인과 교사의 평가 기준과 차이가 있는 것으로 나타났다. 피험자 집단이 스스로 기술한 ‘좋은 이야기’의 특징과 마찬가지로 연구자가 제시한 이야기 평가항목에 대한 중요도 평가에서도 언어재활사는 일반인과 교사와 차이가 나타났다. 피험자 집단의 성별과 학력 및 학령기 아동 경험 여부는 통제를 하였으나 연령은 통제하지 못하여 집단 간의 차이가 나타나게 했을 가능성을 배제할 수 없다. 또한 언어장애를 동반한 아동의 이야기 평가를 포함시키지 않은 제한점이 있었다. 후속연구를 통해 피험자 집단의 변인을 적절히 통제하고 일반아동뿐만 아니라 언어장애를 동반한 아동의 이야기를 평가하도록 하여 일반인과 교사 및 언어재활사의 이야기 평가 경향과 기준에 대한 정보를 파악하는 것이 필요하다. 본 연구에서 다루어진 이야기 평가 기준은 아동이 스스로 산출한 허구적 이야기에 제한되는 것으로 경험이야기와 같은 다른 유형의 이야기 담화에 관한 평가 기준에 대한 연구도 추후 이루어지는 것이 필요하다.

REFERENCES

Baron, JM., & Bluck, S. (2011). That was a good story! Preliminary construction of the perceived story quality index. Discourse Processes. 48(2):93–118.
crossref
Campbell, TF., & Dollaghan, CA. (1992). A method for obtaining listener judgments of spontaneously produced language: social validation through direct magnitude estimation. Topics in Language Disorders. 12(2):42–55.
crossref
Cheon, SH., & Kim, JM. (2007). The effects of language intervention based on story mapping on story comprehension and recall in children with mental retardation. Communication Sciences & Disorders. 12(3):429–446.

Cho, HJ., & Lee, HR. (2017). Spoken and written story production ability of school-aged children with high-functioning autism spectrum disorders. Communication Sciences & Disorders. 22(1):90–100.
crossref
EerNisse, CC., Willbrand, ML., & Milosky, LM. (1989). Listener judgments of adolescent narratives: language disordered vs. normal. Paper presented in American Speech-Language-Hearing Association Convention . St. Louis, MO.

Hughes, DL., McGillivray, L., & Schmidek, M. (1997). Guide to narrative language: procedures for assessment. Eau Claire, WI: Thinking Publications.

Hwang, BM. (2008). Story generation abilities of children with Down syndrome and typically developing children. Journal of Speech & Hearing Disorders. 17(4):63–79.
crossref
Jeong, JH., & Park, ES. (2012). The effects of story mapping intervention on the story-telling and story-comprehension ability of children with autism spectrum disorders. Journal of Speech & Hearing Disorders. 21(3):329–347.
crossref
Kent, RD. (1996). Hearing and believing: some limits to the auditory-perceptual assessment of speech and voice disorders. American Journal of Speech-Language Pathology. 5(3):7–23.
crossref
Kim, GW., Ahn, SW., & Seo, YK. (2007). A comparative study on story composing ability between children with normal language ability and with language learning disability. Journal of Special Education: Theory and Practice. 8(4):655–677.

Kim, JM., Hwang, SE., & Kim, HS. (2018). Narrative macrostructure of school-aged children under different picture tasks. Communication Sciences & Disorders. 23(2):255–269.
crossref
Kim, YT., Hong, GH., Kim, KH., Jang, HS., & Lee, JY. (2009). Receptive & expressive vocabulary test (REVT). Seoul: Seoul Community Rehabilitation Center.

Kwon, EG., & Pae, SY. (2009). Measuring narrative discourse ability of school-aged children with Asperger's syndrome in a story-retelling task: story composition and cohesive devices. Journal of Speech & Hearing Disorders. 18(2):65–84.
crossref
Lê, K., Coelho, C., Mozeiko, J., & Grafman, J. (2011). Measuring goodness of story narratives. Journal of Speech, Language, and Hearing Research. 54(1):118–126.
crossref
McCabe, A., & Peterson, C. (1984). What makes a good story. Journal of Psycholinguistic Research. 13(6):457–480.
crossref
McFadden, TU., & Gillam, RB. (1996). An examination of the quality of narratives produced by children with language disorders. Language, Speech, and Hearing Services in Schools. 27(1):48–56.
crossref
Newman, RM., & McGregor, KK. (2006). Teachers and laypersons discern quality differences between narratives produced by children with or without SLI. Journal of Speech, Language, and Hearing Research. 49(5):1022–1036.
crossref
Nippold, MA. (2007). Later language development: school-age children, adolescents, and young adults. Austin, TX: PRO-ED.

Rollins, PR., McCabe, A., & Bliss, L. (2000). Culturally sensitive assessment of narrative skills in children. Seminars in Speech and Language. 21(3):223–234.
crossref pmid
Schneider, P., & Winship, S. (2002). Adults’ judgments of fictional story quality. Journal of Speech, Language, and Hearing Research. 45(2):372–383.
crossref
Streit Olness, G., Ulatowska, H., Carpenter, C., Williams-Hubbard, L., & Dykes, J. (2005). Holistic assessment of narrative quality: a social validation study. Aphasiology. 19(3-5):251–262.
crossref

Appendices

Appendix 1.

Rating scales by five categories

항목 문항 점수
어휘 1. 나는이야기 속에서 특정어휘(vs.일반어휘)사용을주의 깊게 듣고 평가하였다예:태평양(vs. 바다)  
  2. 나는아동이 말한 어휘가다양한지 주의 깊게듣고 평가하였다.  
  3. 이야기에나타난 세부사항이이야기와 관련이 있는지를주의 깊게 듣고 평가하였다.  
  4. 아동들이표현한 세부사항들이충분한지 주의 깊게듣고 평가하였다.  
이야기문법 5. 등장인물간의 대화가 포함되었는지를주의 깊게 듣고 평가하였다.  
  6. 이야기의결정적인 부분들이모두 포함되었는지주의 깊게 듣고 평가하였다.  
  7. 아동들의생각이 잘 결합되어자연스럽게 이야기속에서 나타났는지주의 깊게 듣고 평가하였다.  
  8. 아동이이야기의 주제를 잘따라갔는지 주의 깊게듣고 평가하였다.  
구문 9. 아동들이문법적으로 정확하게표현하였는지 주의깊게 듣고 평가하였다.  
  10. 아동들이복잡한 문장을 사용했는지주의 깊게 듣고 평가하였다.  
  11. 아동들이완성된 문장을 사용했는지주의 깊게 듣고 평가하였다.  
  12. 아동들의문장의 길이를 주의깊게 듣고 평가하였다.  
유창성 13. 아동들의말속도가 너무 빠르거나느리지는 않은지 주의깊게 평가하였다.  
  14, 아동들이정확하게 발음했는지를주의 깊게 듣고 평가하였다.  
  15. 아동들이이야기를 말할 때 편안하고쉽게 말하는지를 주의깊게 듣고 평가하였다.  
  16. 아동들이이야기를 말할 때 자주쉬거나 멈추거나 간투사(음,어)를 사용하는지를 주의 깊게 듣고 평가하였다.  
생동감 17. 아동들이이야기를 말할 때 재미있는지주의 깊게 듣고 평가하였다  
  18. 아동들이말할 때 얼마나 귀엽게들리는지 주의 깊게듣고 평가하였다.  
  19. 아동들이이야기를 말할 때 대화하는것과 달리 이야기를말하고 있는 것처럼들리는지 주의 깊게평가하였다.  
  20. 아동들이이야기를 말하는 데감정을 얼마나 표현하는지주의 깊게 듣고 평가하였다.  
Appendix 2.

The category and its contents

  범주   내용
1 통일성(Coherence) Co 이야기 전개가 자연스러움, 시간의 흐름, 사건의 연관성, 개연성, 내용/의도, 앞뒤 연결, 전후 관계, 인과관계 등이 적절함
2 이야기구조(Narrative Structure) NS 이야기 구조, 문장의 끝맺음, 이야기 구성, 육하원칙, 배경, 기승전결, 에피소드의 연결이 적절함
3 중심적 주제(Topic) T 핵심, 중심주제와 관련성, 주제에 대한 명확한 표현
4 정교함(Details) D 구체적인 표현, 상황 묘사, 이야기의 섬세함, 배경이나 인물에 대한 구체적인 정보, 자세한 묘사
5 구문(Syntax) Sy 문법, 접속사, 연결어미, 문장구조, 문장의 연결, 복문 산출
6 어휘(Vocabulary) Vo 내용적으로 적절한 어휘 사용, 다양한 어휘, 고급 어휘 사용 등
7 창의력과 상상력(Creativity & Imagination) C & I 이야기의 독창성, 창의력 등
8 생동감(Animation) A 재미, 의성어, 감정이입, 따뜻한 마음, 감정표현의 다양성, 내적 반응만 언급하며 표현한 것, 감정 및 정서와 관련성
9 산출성(Productivity) P 문장의 길이, 이야기 길이
10 말관련 요소(Speech) S 목소리 자신감, 편안하게 들리는 발표력, 전달력, 말속도, 반복, 간투사, 음질, 강세 및 운율, 명료함 등
11 그림과의 관련성(Relevance) R 제시된 그림과의 연관성
12 기타(Etc.) E 권선징악, 긍정적인 표현, 긍정적인 사고, 인물에 대한 주관적인 해석과 평가, 이야기 주제의 긍정적인 가卜치, 해피 엔딩 등
TOOLS
PDF Links  PDF Links
PubReader  PubReader
ePub Link  ePub Link
Full text via DOI  Full text via DOI
Download Citation  Download Citation
Supplement  Supplement
  Print
Share:      
METRICS
0
Crossref
0
Scopus
3,337
View
167
Download
Editorial office contact information
Department of Speech Pathology, College of Rehabilitation Sciences, Daegu University,
Daegudae-Ro 201, Gyeongsan-si, Gyeongsangbuk-do 38453, Republic of Korea
Tel: +82-502-196-1996   Fax: +82-53-359-6780   E-mail: kjcd@kasa1986.or.kr

Copyright © by Korean Academy of Speech-Language Pathology and Audiology.
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Developed in M2PI