Commun Sci Disord > Volume 19(4); 2014 > Article
경도인지장애 변별을 위한 보스턴 이름대기 검사의 유용성: 메타 분석

초록

배경 및 목적:

보스턴 이름대기 검사(Boston Naming Test, BNT)는 경도인지장애(mild cognitive impairment, MCI) 환자의 이름대기 능력을 측정하기 위하여 임상에서 널리 시행되고 있으나 정상 노년층과의 수행력 차이 여부에 관하여 상반된 연구 결과가 혼재한다. 이에, 본 연구에서는 메타 분석을 통해 MCI를 대상으로 BNT의 수행력을 보고한 개별 연구들로부터 종합적인 결과를 도출하고, 근거 기반에 기초한 평가 도구로서 문항 수에 따른 다양한 유형의 BNT의 유용성을 검증하고자 한다.

방법:

MCI와 정상 노년층의 BNT 점수를 비교한 연구들을 ProQuest와 PubMed 데이터베이스를 이용하여 수집하였다. 선정기준에 적합한 총 41편의 문헌을 수집하여 메타 분석을 실시하였다.

결과:

총 41개 문헌 중 BNT의 문항 수에 따라 60문항 BNT (BNT-60)를 이용한 연구는 19편, 30문항 BNT (BNT- 30)는 5편, 15문항 BNT (BNT-15)는 17편이었다. BNT의 유형을 종합한 효과크기(effect size) 및 문항 수에 따른 유형별 효과크기를 살펴본 결과, 모든 유형의 BNT에서 MCI가 정상인에 비해 낮은 수행력을 보였다.

논의 및 결론:

MCI 대상 BNT 검사의 종합적인 유용성을 검증하고 문항 수에 따른 하위 유형별 변별력을 제시함으로써 연구 및 임상에서의 효율성을 제고하는 데 근거를 마련하였다. BNT는 MCI와 정상인의 이름대기 능력을 변별하는 평가도구로 유용하며, 특히 단축형 BNT를 활용하여 임상에서 검사의 효율성을 증대시킬 수 있을 것으로 기대된다.

Abstract

Objectives:

The Boston Naming Test (BNT) is a widely used neuropsychological test for evaluating language ability and mild cognitive impairment (MCI). Several different abbreviated forms of the BNT have been used in previous research and clinical settings. For efficiency, valid and sensitive abbreviated forms of the BNT are useful. However, there has been no study that focused on comparison among various forms of the BNT and MCI. Thus, we conducted a meta-analysis of studies that assessed subjects with MCI alongside normal elderly with one of three different forms of the BNT: 60 items (BNT-60), 30 items (BNT-30), and 15 items (BNT-15).

Methods:

A total of 41 studies (19 for BNT-60, 5 for BNT-30, and 17 for BNT-15) were included in the present meta-analysis. Effect sizes were obtained by Hedges’s g with a 95% confidence interval.

Results:

The random-effects meta-analysis model composite with all forms of the BNT showed that MCI subjects performed lower than the normal elderly on the BNT. Additionally, MCI subjects acquired significantly lower scores than normal elderly in all different forms of the BNT.

Conclusion:

MCI subjects show significantly lower performance even in the shortest form of the BNT (BNT-15). Therefore, it seems reasonable to conclude that an abbreviated form of the BNT can be used effectively in clinical settings.

주요 노인 질환 중 증가율 1위를 차지하는 치매는 가정 및 사회적 부담을 증가시키는 요인이다(Cha & Hwang, 2014). 치매는 퇴행성 질환으로 조기 발견 및 진단을 통한 적극적인 치료가 매우 중요하다. 이를 위해 최근 임상에서는 정상적인 노화와 치매의 중간단계로 인지 기능의 저하가 나타나는 경도인지장애(mild cognitive impairment, MCI) 단계가 주목받고 있다. Petersen 등(1999)은 MCI의 진단 기준을 (1) 기억 손상에 관한 주관적인 보고, (2) 경도의 전반적인 기능적 손실, (3) 정상적인 전반적 인지 기능의 저하, (4) 정상적인 일상 생활 유지, (5) 치매 진단 기준에 부합하지 않는 자로 제시하였다. MCI는 초기 치매단계라고도 일컬어지며, 알츠하이머형 치매로 이행할 수 있는 고위험군으로 지목된다(Alom, Llinares, & Fajardo, 2012; Griffith et al., 2006; Jacova et al., 2008; Petersen et al., 1999, 2001). 역학 연구에 따르면, 매년 평균 정상 노인의 치매 발병률은 1%-2%인데 비해, MCI 환자는 14%이며(Petersen et al., 2001), MCI 환자의 치매 전환율은 1년 후 41%, 2년 후 64%에 육박한다(Geslani, Tierney, Herrmann, & Szalai, 2005). 이와 같이 MCI는 치매를 가장 이른 시기에 발견하여 치료효과를 극대화할 수 있는 임상적으로 매우 중요한 단계이다(Apostolova & Cummings, 2007).
간이정신상태검사(Mini-Mental State Examination, MMSE)는 대표적인 치매 선별 검사로서 널리 사용되고 있다. 그러나 MMSE의 단독 평가만으로는 MCI를 선별하기에 임상적으로 낮은 신뢰도를 보인다(Lee, Cheong, Oh, & Hong, 2009). 또한 MMSE만 시행했을 경우 언어 수행력 저하에 관한 정보를 충분하게 제공하지 못한다는 제한점이 있다(Park & Chey, 2000). 따라서 MCI 환자를 선별하거나 진단함에 있어 더욱 심층적인 신경심리평가가 필요하다.
MCI 환자를 대상으로 실시하는 신경심리평가는 언어 능력 평가 항목을 포함하고 있다. 언어기능은 인지 기능의 정도를 반영하기 때문에 진단 시 매우 중요한 평가 요소로서, 특히 치매 초기부터 기능 저하가 보고되는 의미 처리 능력(Balthazar, Cendes, & Damasceno, 2008; Taler & Phillips, 2008)을 필수적으로 평가한다. 대표적인 의미 언어 평가 과제는 대면이름대기(confrontational naming)이다. 대면이름대기의 대표적인 과제는 본 연구에서 다루어진 보스턴 이름대기 검사(Boston Naming Test, BNT)이다. 60개의 그림 자극을 보고 그 이름을 말하도록 하는 이 과제는 Kaplan, Goodglass와 Weintraub (1983)이 개발하여 치매를 비롯한 다양한 신경 손상 장애 환자의 변별과 예측에 민감한 지표로서 유용하게 사용되어 왔다. 국내에서도 문항 개발과 표준화 작업을 거친 한국판 보스턴 이름대기 검사(Korean version of Boston Naming Test, K-BNT; Kim & Na, 1997, 1999)가 연구와 임상에서 대표적으로 널리 사용되고 있다(Kang, Kim, & Na, 1999).
60개 문항으로 개발된 표준 BNT (BNT-60)는 60문항 전체를 평가하도록 개발되었으나, 인지 기능이나 주의 집중에 저하를 보이는 환자를 대상으로 전체 문항을 평가하기에는 어렵다는 문제가 제기되었다(Kim & Kim, 2013). 이에 따라 검사의 효율성을 위해 BNT-60과 높은 상관관계를 유지하는 단축형 BNT의 개발이 활발히 이루어졌다. BNT-60의 항목을 순서에 따라 축소 구성하거나 새로운 문항 개발을 통한 30문항(BNT-30) 혹은 15문항(BNT-15) 등의 다양한 단축형 BNT가 개발되었고 치매환자와 정상 노인의 수행력을 변별하는 도구로서 60개 문항의 BNT (BNT-60)와 높은 상관관계가 검증된 단축형 BNT는 MCI 환자에게도 평가 도구로 활용되어 왔다(Arlt et al., 2013; Beinhoff, Hilbert, Bittner, Grön, & Riepe, 2005; Bélanger & Belleville, 2009; Bigler et al., 2003; Brunet et al., 2011; Deason, Hussey, Budson, & Ally, 2012; De Jager, Hogervorst, Combrinck, & Budge, 2003; Devanand et al., 2010; Fillenbaum et al., 2005; Griffith et al., 2006; Guo, Zhou, Zhao, Wang, & Hong, 2012; Jefferson et al., 2006, 2007; Johns et al., 2012; Joubert et al., 2010; Kramer et al., 2006; Laakso et al., 2009; Pa et al., 2010; Price et al., 2010; Vliet et al., 2003; Yeh et al., 2011).
치매 환자는 선행 연구에서 일관적으로 낮은 BNT 수행력이 보고된 반면, MCI 환자의 경우에는 상반된 연구 결과가 혼재한다(Taler & Phillips, 2008). 다수의 연구에서 MCI가 정상 노인에 비해 저하된 수행력을 보였다(Alom et al., 2012; Arsenault-Lapierre, Bergman, & Chertkow, 2012; Beinhoff et al., 2005; Beversdorf et al., 2007; Bigler et al., 2003; Brunet et al., 2011; De Jager et al., 2003; Devanand et al., 2010; Duong, Whitehead, Hanratty, & Chertkow, 2006; Fillenbaum et al., 2005; Guo et al., 2012; Harel et al., 2011; Jacova et al., 2008; Jefferson et al., 2006, 2007; Johns et al., 2012; Kramer et al., 2006; Laakso et al., 2009; Malek-Ahmadi, Raj, & Small, 2011; Malek-Ahmadi, Small, & Raj, 2011; Pa et al., 2010; Rami et al., 2008; Schmitter-Edgecombe & Creamer, 2010; Schmitter-Edgecombe & Sanders, 2009; Weakley, Schmitter-Edgecombe, & Anderson, 2013; Yeh et al., 2011). 그러나 두 집단 간 유의한 차이를 보이지 않았다는 연구도 있다(Arlt et al., 2013; Balthazar et al., 2008, 2010; Bélanger & Belleville, 2009; Deason et al., 2012; Griffith et al., 2006; GrönholmNyman, Rinne, & Laine, 2010; Grönholm, Rinne, Vorobyev, & Laine, 2007; Harel et al., 2011; Joubert et al., 2010; Price et al., 2010; Schmitter-Edgecombe, Woo, & Greeley, 2009; Vliet et al., 2003). MCI 환자와 정상 노년층의 수행력 차이는 BNT-60을 실시한 연구보다 단축형 BNT를 실시한 연구에서 더욱 비일관적으로 보고되었다. 문헌 고찰을 통해 MCI 환자와 정상 노년층의 BNT 수행력에 따른 변별력과 치매 전환 예측력을 살펴본 Taler와 Phillips (2008)는 단축형 BNT를 사용하거나 대상자의 수가 적을수록 MCI 환자의 변별력과 예측력이 낮게 나타났다고 언급하며 MCI 환자를 대상으로 한 단축형 BNT의 유용성에 의문을 제기하기도 하였다.
이에, 본 연구에서는 MCI 환자와 정상 노인의 수행력의 차이를 보고한 기존의 상반된 연구 결과들로부터 종합적인 결과를 도출하기 위해 메타분석(meta-analysis)을 실시하였다. 이를 통해 연구 및 임상 현장에서 근거 기반에 기초한 평가 도구로서 표준형 및 다양한 단축형 BNT의 유용성을 검증하고, 검사의 효율성 증대 및 활용 방안을 모색하고자 한다. 구체적인 연구 목적은 다음과 같다.
첫째, MCI와 정상 노년층의 BNT 수행력 차이의 효과크기(effect size)를 산출한다.
둘째, 문항 수에 따라 BNT를 유형별로 분류하고, MCI와 정상 노년층의 수행력 차이의 효과크기를 각각 산출한다.

연구 방법

자료 수집

문헌 검색

다양한 단축형 BNT를 이용한 MCI 환자와 정상 노년층의 이름 대기 수행력 차이를 알아보기 위해 2014년 4월에 PubMed와 ProQuest 데이터베이스에서 문헌 검색을 실시하였다. 문헌 수집에 사용된 검색어로는 PubMed에서는 (“mild cognitive impairment” OR MCI) AND (“boston naming test” OR BNT OR naming OR fluency), ProQuest에서는 (“mild cognitive impairment” OR MCI) AND BNT가 사용되었다. PubMed 데이터베이스에서는 MCI 환자를 대상으로 널리 쓰이는 신경심리검사인 생성이름대기(fluency)를 검색어에 포함하여 선정에 적합한 논문이 누락되는 것을 최소화하고자 하였다. 반면 ProQuest 검색 결과에서는 BNT 이외의 이름대기 검사가 다수 포함되어 있어, 검색의 효율성을 위해 과제 관련 검색어를 ‘BNT’로 한정하여 재검색하였다.

논문의 선정 기준

PubMed에서 350편, ProQuest에서 229편으로 총 579편의 연구가 검색되었다. 논문의 선정기준 및 제외기준을 통해 최종 41편의 문헌이 메타 분석을 위해 수집되었다. 논문 선정 과정은 Figure 1과 같다. 선정된 개별 논문의 특성은 Table 1에 요약하여 제시하였다.

신뢰도 평가

논문 선정 과정에서의 신뢰도 검증을 위하여 연구자 1인과 연구 보조원 1인의 논문 선정 일치도를 평가하였다. 전문 이용이 가능한 논문 중 약 50%에 해당하는 20편을 무선 표집(random sampling)한 후, 연구 보조원이 Figure 1에 제시한 논문의 선정 기준 및 제외 기준 근거에 따라 논문을 선정하고 비교하였다. 그 결과, 검사자 간 논문 선정의 일치도는 95%였으며, 불일치는 재검토를 통해 추가 논의하여 선정 여부를 결정하였다.

자료 분석

방법론적 질적 평가

횡단적 연구(cross-sectional study)에 적합한 질적 평가를 위해 Gersten 등(2005)의 필수 질적 지표(essential quality indicator)를 차용 및 수정하여 측정하였다(Table 2). 그 결과 본 연구에서 수집된 논문은 분석에 적합한 것으로 평가되었다.

자료의 코딩

연구자, 게재연도, BNT 문항 수, BNT 문항 인용 출처, 대조군과 MCI 두 집단의 표본 크기, BNT 수행력의 평균과 표준편차, 두 집단 간 효과크기를 기록하였다. 연구자 이외의 검사자가 코딩을 검토한 결과, 일치율은 98.2%였으며, 불일치한 자료는 재검토와 논의를 거쳐 수정하였다.

출판 편향

표준 오차에 대한 출판 편향(publication bias)을 퍼넬 플롯(funnel plot)으로 확인하였다. 여기서 ‘출판 편향’이란, 메타분석의 결과가 과대추정되어 왜곡될 위험성을 일컫는데(Borenstein, Hedges, Higgins, & Rothstein, 2009) 높은 효과크기를 보고한 연구들이 낮은 효과크기를 보고한 연구들보다 상대적으로 출판될 확률이 높으며 메타분석에서는 기출판된 연구들이 주로 포함되기 때문에 출판 편향의 위험성을 보고하는 일이 필요하다. 무선효과모형(random effect model)에서 trim-and-fill (Duval & Tweedie, 2000) 방법을 이용한 헤지의 표준화된 평균차(Hedges’s g) 값이 삽입된 도표는 Figure 2와 같다. 이 도표에서 빈 원(○)은 본 메타분석에 실제 사용 된 값을, 검은 원(●)은 보정되어 삽입된 값을 의미한다. 또한 도표 아래의 다이아몬드는 각각 실제 사용된 값(◇)과 보정된 값(◆)의 전체 효과크기와 95% 신뢰구간의 표준오차를 나타낸다. 출판 편향을 확인하는 추가적인 방법으로 Classic fail-safe N (Rosenthal, 1979) 계수는 4,075로 출판 편향의 영향이 매우 적은 것으로 나타났다. 이는 본 메타 분석의 효과크기를 무효화하기 위해 추가적으로 필요한 문헌의 수를 나타내며, 이 계수가 클수록 연구결과가 출판 편향에 의한 영향을 적게 받는 것을 의미한다(Borenstein et al., 2009).

메타분석

Comprehensive Meta-Analysis (version 2.0)을 이용하여 효과크기를 산출하였다. 개별 연구에서 사용된 BNT 문항 수에 따라 BNT-60, BNT-30, BNT-15로 분류한 후, 대조군과 MCI의 표본 크기, 평균, 표준편차, 계산된 효과크기를 이용하여 종합 효과 크기와 BNT 유형에 따른 각각의 효과크기(Hedges’s g)를 산출하였다. 또한 표준오차의 역수를 가중치로 부여하고 무선효과모형(random effect model)을 이용하여 신뢰구간 95%를 기준으로 효과크기의 이질성을 평가하였다.

연구 결과

대상자

총 대상자는 MCI환자 2,428명, 정상 노년층 3,566명이었다. 문항 수에따른 BNT 유형 하위 집단에 해당하는 논문 수와 대상자 정보는 Table 3과 같다.

BNT 유형에 따른 집단 간 수행력 차이 비교

BNT 유형을 종합하여 살펴보았을 때, MCI와 정상 노년층의 전반적인 BNT 수행력은 효과크기 -.641 (95% CI: -.735 to -.547, p<.001)로서 MCI 환자가 정상 노년층에 비해 낮은 수행력을 나타냈다(Table 4).
단축형 BNT 유형별 두 집단 간 수행력 차이를 살펴보면, 첫째, BNT-60을 시행한 연구에서는 효과크기가 -.639 (95% CI: -.751 to -.528, p<.001)로 MCI 환자가 정상 노년층에 비해 통계적으로 유의하게 낮은 수행력을 보였다(Figure 3). 둘째, BNT-30을 시행하였을 때 효과크기는 -.685 (95% CI: -.917 to -.454, p<.001)로 MCI의 이름대기 수행력이 정상 노년층의 수행력보다 유의하게 낮았다(Figure 4). 셋째, BNT-15를 시행하였을 때 역시 효과크기는 -.626 (95% CI: -.801 to -.450, p<.001)로 MCI 환자가 정상 노년층보다 낮은 수행력을 나타냈다(Figure 5). 요컨대, BNT 유형을 종합했을 때와 세 유형의 BNT 유형에서 모두 MCI 환자가 정상 노년층에 비해 유의하게 낮은 수행력을 보였다.
출판 편향을 고려한 trim-and-fill 보정을 실시한 결과, 모든 유형의 BNT를 종합한 경우 MCI와 정상인의 BNT 수행력은 효과크기 -.782 (95% CI: -.895 to -.669)로서 MCI 환자가 정상인에 비해 낮은 수행력을 보였다. 유형별로 살펴보면, BNT-60은 효과크기 -.653 (95% CI: -.762 to -.544), BNT-30은 효과크기 -.685 (95% CI: -.916 to -.453), BNT-15는 효과크기 -.815 (95% CI: -1.000 to -.627)로 나타났으므로, 출판 편향 보정 후에도 앞서 결과와 마찬가지로 모든 유형의 BNT에서 MCI 환자가 정상 노년층에 비해 유의하게 낮은 수행력을 보였다.

논의 및 결론

본 메타분석을 통해 MCI가 정상 노년층에 비해 낮은 BNT 수행력을 보인다는 것을 확인함으로써 기존의 개별적으로 보고된 상반된 연구 결과를 통합하고 종합적인 의미를 도출할 수 있었다. 저하된 의미 처리 능력이 꾸준히 보고되어온 치매 초기 단계뿐만 아니라 치매 전 단계인 MCI 단계에서부터 의미 처리 능력을 반영하는 대면이름대기 과제인 BNT의 수행력이 정상 노년층에 비해 저하된 것을 관찰할 수 있었다.
더욱이 60문항의 기본형 BNT뿐만 아니라 30문항, 15문항으로 구성된 다양한 단축형 BNT를 이용한 간단한 편가만으로도 MCI와 정상 노년층의 대면이름대기 수행력을 변별할 수 있다는 가능성을 확인하였다. 본 메타 분석의 결과는 적은 문항수의 단축형 BNT를 이용한 평가로는 MCI와 정상 노년층의 변별에 특히 어려움이 있다는 Taler와 Phillips (2008)의 주장과 상반되는 결과이다. 이러한 상반된 의견의 이유는 Taler와 Phillips (2008)가 통계적 유의성 결과에 따른 연구 편수를 세는 방법(vote counting)으로 전체적인 결론을 도출한 반면, 본 연구에서는 대상자 수와 효과크기를 고려했기 때문인 것으로 보인다. 또한 문항의 난이도만을 고려하여 문항을 축소한 병렬형 단축형을 사용한 연구(Bélanger & Belleville, 2009; Bigler et al., 2003; De Jager et al., 2003; Fillenbaum et al., 2005; Griffith et al., 2006; Pa et al., 2010; Price et al., 2010; Vliet et al., 2003; Yeh et al., 2011) 이외에도 문화를 고려하여 번안된 문항이나 높은 변별력을 나타내는 문항으로 새로이 단축된 문항으로 개발된 다양한 단축형 BNT의 사용이(Beinhoff et al., 2005; Brunet et al., 2011; Guo et al., 2012; Jefferson et al., 2006; Johns et al., 2012; Joubert et al., 2010) 적은 문항의 단축형 BNT로도 MCI와 정상 노년층을 효과적으로 변별하는 결과를 도출한 것으로 보인다.
본 연구 결과를 통해 MCI 환자의 대면이름대기 능력 평가를 위한 기본형 BNT의 유용성뿐만 아니라, 단축형 BNT가 임상 현장 및 특히 대단위 역학 조사나 외래 진료 등 시간의 제약이 있는 조건에서 효율적으로 MCI로 의심되는 환자의 대면이름대기 수행력을 짧은 시간 내에 선별할 수 있는 평가 도구로 활용될 수 있다는 가능성을 확인할 수 있었다. MCI 변별에 있어 단축형 BNT의 유용성이 검증됨에 따라 선별 검사에서 단축형 BNT의 활용은 짧은 추가 평가 시간만으로도 기존의 치매 선별 검사보다 좀 더 구체적인 언어 능력 수행 특징을 파악할 수 있게 할 것이다. 이러한 신경심리학적 수행에 관한 추가적인 정보는 짧은 시간 내에 좀 더 정확한 MCI의 진단과 변별에 도움을 줄 수 있을 것이다.
본 메타분석에는 포함되지 않았으나, 국내에서도 MCI와 정상 노년층을 변별하기 위한 단축형 K-BNT의 개발 연구가 꾸준히 진행되어왔다. 단축형 Korean-Boston Naming Test (S-K-BNT) 개발의 초기 단계에서는 문항의 난이도만을 고려한 병렬형 단축형이 제시되었으나, 이후 치매 환자와 정상 노년층의 변별력을 더욱 높이기 위한 연구를 통해 새로운 문항이 선정되기도 하였다. 그 결과, 15개 문항으로 이루어진 치매진단을 위한 단축형 K-BNT (S-K-BNT)는 기존 K-BNT와 높은 상관성을 유지하면서 오히려 60개 문항의 K-BNT를 실시하였을 때보다 더 높은 변별 효용성을 보인다(Kang et al., 1999). 특히 최근에는 문항반응이론을 적용하여 단축형 문항을 선정한 K-BNT-15가 MCI와 정상 노년층의 수행력을 효과적으로 변별할 수 있었다(Kim & Kim, 2013). 이와 같이 MCI 및 치매환자를 대상으로 변별력이 높은 단축형 문항이 개발되면서, 국내 연구 및 임상 현장에서도 단축형 K-BNT의 유용성이 한층 높아졌다고 할 수있다.
본 연구는 상반된 연구 결과가 혼재하는 다양한 유형의 BNT를 활용한 MCI와 정상 노년층의 대면이름대기 수행력 차이를 종합하여 BNT의 유용성을 검증하고 근거 기반에 기초한 평가 도구로서 임상에서의 활용을 도모했다는 점에서 의의가 있다. 그러나 국내 연구는 분석에 포함하지 않은 제한점이 있으므로 향후 국내에서 개발된 BNT를 활용한 연구를 대상으로 집단 간 차이에 대한 효과 크기 및 두 집단의 변별에 영향을 미치는 다양한 매개변인을 조사하는 등 더욱 심층적인 분석이 필요하겠다.

Figure 1.
Flowchart of studies included from database search. BNT=Boston Naming Test; MCI=mild cognitive impairment.
csd-19-4-501f1.tif
Figure 2.
Funnel plot of standard error by Hedges’s g after trim-and-fill. ○=Hedges’s g of observed values; ●=Hedges’s g of imputed filled values; ◇=overall effect size and 95% CI before allowing for publication bias; ◆=overall effect size and 95% CI after allowing for publication bias.
csd-19-4-501f2.tif
Figure 3.
Effect sizes for BNT-60 items. BNT=Boston Naming Test; MCI=mild cognitive impairment.
csd-19-4-501f3.tif
Figure 4.
Effect sizes for BNT-30 items. BNT=Boston Naming Test; MCI=mild cognitive impairment.
csd-19-4-501f4.tif
Figure 5.
Effect sizes for BNT-15 items. BNT=Boston Naming Test; MCI=mild cognitive impairment.
csd-19-4-501f5.tif
Table 1.
Study characteristics
Study (Language) Age of participants (yr)
No. of participants)
MCI type BNT)
Normal MCI Normal MCI No. of items Form
Arlt et al. (2013) 67.6 (5.7) 70.6 (6) 11 18 Amnestic 15 N/S
German
Bélanger & Belleville (2009) N/A (age matched) 16 18 Amnestic-single 15 Kaplan et al. (1983)
French Amnestic-multiple
Beinhoff et al. (2005) 63.5 (7.5) 66.4 (7.1) 57 48 N/S 15 Lezak (1995)
German
Bigler et al. (2003) 76.88 (6.48) 84.09 (6.79) 20 30 N/S 15 Kaplan et al. (1978)
English
Brunet et al. (2011) 72.7 (5.3) 72.83 (7.4) 26 33 Amnestic 15 Calero et al. (2002)
French
Deason et al. (2012) 73.5 (7.54) 73 (8.6) 12 12 Amnestic-single 15 N/S
English Amnestic-multiple
Devanand et al. (2010) 80.2 (5.7) 81.46 (6.07) 802 290 Amnestic 15 N/S
English Non-amnestic
Fillenbaum (2005) 79.6 (7.2) 83.5 (7.8) 201 33 N/S 15 Kaplan et al. (1978)
Japanese English
Fillenbaum (2005) 80.6 (5.2) 82.5 (5.4) 120 65 N/S 15 Kaplan et al. (1978)
Japanese English
Griffith et al. (2006) 65.92 (7.66) 68.47 (8.65) 49 49 Amnestic 15 Kaplan et al. (1983)
English
Johns et al. (2012) 71.8 (5) 72.4 (8.6) 32 40 Amnestic 15 Mack et al. (1992)
French, English
Joubert et al. (2010) 72.4 (7.1) 73.7 (6.3) 16 15 Amnestic 15 Calero et al. (2002)
French
Kramer et al. (2006) 73 (5.3) 75 (6.1) 35 22 Amnestic 15 N/S
English
Laakso et al. (2009) 71 (4) 73 (4) 486 72 N/S 15 Morris et al. (1989)
English
Pa et al. (2010) 65.2 (8.9) 69.8 (9.3) 40 57 Amnestic single 15 Kaplan et al. (1983)
English Amnestic multiple
Dysexecutive MCI
Price et al. (2012) 75.52 (6.17) 77.61 (7.2) 33 33 Amnestic 15 Kaplan et al. (2001)
English
Vliet et al. (2003) 67.9 (8.2) 69.7 (10.5) 153 92 N/S 15 Kaplan et al. (1983)
English
De Jager et al. (2003) 75 (9) 76 (10) 51 29 N/S 30 Kaplan et al. (1983)
English
Guo et al. (2012) 68.84 (7.7) 70.18 (5.06) 197 311 Amnestic-single 30 Guo et al. (2006)
Chinese Amnestic-multiple
Jefferson et al. (2006) 72 (8.4) 71.4 (8.2) 222 166 Amnestic-multiple 30 Fisher et al. (1999)
English Non-amnestic-single
Non-amnestic-multiple
Jefferson et al. (2007) 71.9 (8.4) 71.8 (8) 219 155 N/S 30 Williams et al. (1989)
English
Yeh et al. (2011) 76.5 (6.6) 78.37 (6.15) 64 150 Amnestic-single 30 Kaplan et al. (1983)
Chinese Amnestic-multiple
Alom et al. (2012) 70.2 (6.9) 72.3 (7.3) 63 89 N/S 60 Kaplan et al. (1983)
Spanish
Arsenault-Lapierre (2012) 74.7 (9) 75 (7) 33 60 N/S 60 Mack et al. (1992)
English
Balthazar (2007) 69.4 (7.28) 66.26 (10.27) 15 15 Amnestic 60 Lezak (1995)
Brazilian
Balthazar et al. (2008) 70.62 (7.77) 70.87 (9.79) 16 16 Amnestic 60 Modified version of Kaplan et al. (1983)
Brazilian
Balthazar et al. (2010) 69.12 (7.55) 74.26 (6.33) 16 17 Amnestic 60 Modified version of Kaplan et al. (1983)
Brazilian
Beversdorf et al. (2007) 68 (8.3) 67.5 (8.9) 20 26 N/S 60 Kaplan et al. (1983)
English
Djordjevic et al. (2008) 73.7 (3) 75.4 (3.3) 33 51 Amnestic 60 N/S
English, French
Duong et al. (2006) 74.38 (5.74) 74.68 (6.28) 60 61 Amnestic 60 N/S
English
Grönholm (2007) 65.5 (6.9) 68.6 (8.6) 10 10 Amnestic 60 N/S
Finnish
Grönholm-Nyman (2010) 66 (7.3) 69.5 (8.2) 12 13 Amnestic 60 N/S
Finnish
Harel et al. (2011) 66.2 (6.7) 67.7 (5.6) 30 30 Amnestic 60 Morris et al. (1989)
English
Jacova et al. (2008) 72.1 (7.3) 69.2 (7.5) 26 25 Amnestic 60 Kaplan et al. (1983)
English
Malek-Ahmadi et al. (2011a) 71.57 (5.59) 74.3 (5.19) 33 33 Amnestic 60 Kaplan et al. (1983)
English
Malek-Ahmadi et al. (2011b) 74.8 (5.77) 74.8 (5.77) 33 33 Amnestic 60 Kaplan et al. (1983)
English
Rami et al. (2008) 74.3 (5.3) 73.6 (6.8) 26 30 Amnestic 60 Kaplan et al. (1983)
Spanish
Schmitter-Edgecombe & Sanders (2009) 72.45 (4.9) 71.64 (5.7) 42 42 Amnestic 60 Kaplan et al. (1983)
English Non-amnestic
Schmitter-Edgecombe et al. (2009) 70.38 (9.1) 70.88 (9.55) 26 26 Amnestic-single 60 N/S
English Amnestic-multiple
Schmitter-Edgecombe & Creamer (2010) 70.56 (7.8) 70.78 (9.32) 23 23 Amnestic-single 60 Kaplan et al. (1983)
English Amnestic-multiple
Weakley et al. (2013) 71.44 (9.37) 72.05 (9.78) 90 90 Amnestic-Single 60 Ivnik et al. (1996)
English Amnestic-multiple
Non-amnestic

Values of age are presented as mean (SD).

BNT=Boston Naming Test; MCI=mild cognitive impairment.

Table 2.
Evaluation by quality indicators
Category Quality indicators Qualified Non-qualified
Participants Was sufficient information provided to determine/confirm whether the participants demonstrated the disability(ies) or difficulties presented? 41 0
Were appropriate procedures used to increase the likelihood that relevant characteristics of participants in the sample were comparable across conditions? 41 0
Was sufficient information given characterizing examiners provided? Did it indicate whether they were comparable across conditions? 41 0
Assessment procedure Were the assessment procedure and scoring system clearly described and specified? 41 0
Outcome measures Was descriptive statistics quantity provided as outcome? 41 0
Data analysis Were the data analysis techniques appropriately linked to key research questions and hypotheses? 41 0
Table 3.
Characteristics of participants included in the analysis by BNT types
Group BNT-60
BNT-30
BNT-15
Total
MCI Normal MCI Normal MCI Normal MCI Normal
No. of studies 19 5 17 41
No. of participants 690 623 811 753 927 2,190 2,428 3,566
Age (yr) 72.35 (7.43) 71.49 (7.05) 72.46 (6.81) 71.72 (8.12) 74.79 (4.75) 75.06 (5.92) 72.82 (7.15) 73.74 (6.64)

Values of age are presented as mean (SD).

BNT=Boston Naming Test; MCI=mild cognitive impairment.

Table 4.
Summary of effect sizes for BNT score between MCI and normal elderly
Type Effect size and 95% CI
Homogeneity tests
Hedges’s g Lower limit Upper limit p Q df (Q) p I2
Overall -.641 -.735 -.547 < .001 89.874 40 < .001 55.411
BNT-60 -.639 -.751 -.528 < .001 13.348 18 .770 .000
BNT-30 -.685 -.917 -.454 < .001 17.395 4 .002 77.005
BNT-15 -.626 -.801 -.450 < .001 54.591 16 < .001 70.691

BNT=Boston Naming Test; MCI=mild cognitive impairment.

REFERENCES

Alom, J., Llinares, I., & Fajardo, S. (2012). Clinical approach to diagnosis of pre-dementia Alzheimer’s disease (CAD-PAD). Dementia and Geriatric Cognitive Disorders Extra. 2, 332–342.
crossref pmid pmc
Apostolova, LG., & Cummings, JL. (2007). Neuropsychiatric manifestations in mild cognitive impairment: a systematic review of the literature. Dementia and geriatric Cognitive Disorders. 25, 115–126.
crossref
Arlt, S., Buchert, R., Spies, L., Eichenlaub, M., Lehmbeck, JT., & Jahn, H. (2013). Association between fully automated MRI-based volumetry of different brain regions and neuropsychological test performance in patients with amnestic mild cognitive impairment and Alzheimer’s disease. European Archives of Psychiatry and Clinical Neuroscience. 263, 335–344.
crossref
Arsenault-Lapierre, G., Bergman, H., & Chertkow, H. (2012). Word reading threshold and mild cognitive impairment: a validation study. BMC Geriatrics. 12, 1–7.
crossref pmid pmc
Balthazar, ML., Martinelli, JE., Cendes, F., & Damasceno, BP. (2007). Lexical semantic memory in amnestic mild cognitive impairment and mild Alzheimer’s disease. Arquivos de neuro-psiquiatria. 65, 619–622.
crossref pmid
Balthazar, MLF., Cendes, F., & Damasceno, BP. (2008). Semantic error patterns on the Boston Naming Test in normal aging, amnestic mild cognitive impairment, and mild Alzheimer’s disease: is there semantic disruption? Neuropsychology. 22, 703–709.
crossref
Balthazar, MLF., Yasuda, CL., Pereira, FRS., Bergo, FPG., Cendes, F., & Damasceno, BP. (2010). Coordinated and circumlocutory semantic naming errors are related to anterolateral temporal lobes in mild AD, amnestic mild cognitive impairment, and normal aging. Journal of the International Neuropsychological Society. 16, 1099–1107.
crossref
Beinhoff, U., Hilbert, V., Bittner, D., Grön, G., & Riepe, MW. (2005). Screening for cognitive impairment: a triage for outpatient care. Dementia and Geriatric Cognitive Disorders. 20, 278–285.
crossref pmid
Bélanger, S., & Belleville, S. (2009). Semantic inhibition impairment in mild cognitive impairment: a distinctive feature of upcoming cognitive decline? Neuropsychology. 23, 592–606.
crossref pmid
Beversdorf, DQ., Ferguson, JL., Hillier, A., Sharma, UK., Nagaraja, HN., Bornstein, RA., ... Scharre, DW. (2007). Problem solving ability in patients with mild cognitive impairment. Cognitive and Behavioral Neurology. 20, 44–47.
crossref pmid
Bigler, ED., Lowry, CM., Kerr, B., Tate, DF., Hessel, CD., Earl, HD., ... Victoroff, J. (2003). Role of white matter lesions, cerebrel atrophy, and APOE on cognition in older persons with and without dementia: the Cache County, Utah, study of memory and aging. Neuropsychology. 17, 339–352.
crossref pmid
Borenstein, M., Hedges, LV., Higgins, JP., & Rothstein, HR. (2009). IntroIntroduction to meta-analysis. Chichester: John Wiley & Sons.

Brunet, J., Hudon, C., Macoir, J., Belleville, S., Rousseau, F., Bouchard, RW., ... Joubert, S. (2011). The relation between depressive symptoms and semantic memory in amnestic mild cognitive impairment and in late-life depression. Journal of the International Neuropsychological Society. 17, 865–874.
crossref pmid
Calero, MD., Arnedo, ML., Navarro, E., Ruiz-Pedrosa, M., & Carnero, C. (2002). Usefulness of a 15-item version of the Boston Naming Test in neuropsychological assessment of low-educational elders with dementia. Journals of Gerontology Series B: Psychological Sciences and Social Sciences. 57, 187–191.
crossref pmid
Cha, SY., & Hwang, SH. (2014). Neuropsychological characteristics of elderly patients: a comparison of mild cognitive impairment with depressed mood, mild cognitive impairment without depressed mood and depression. Korean Journal of Clinical Psychology. 33, 107–120.
crossref
Deason, RG., Hussey, EP., Budson, AE., & Ally, BA. (2012). Gist-based conceptual processing of pictures remains intact in patients with amnestic mild cognitive impairment. Neuropsychology. 26, 202–208.
crossref pmid pmc
de Jager, CA., Hogervorst, E., Combrinck, M., & Budge, MM. (2003). Sensitivity and specificity of neuropsychological tests for mild cognitive impairment, vascular cognitive impairment and Alzheimer’s disease. Psychological Medicine. 33, 1039–1050.
crossref pmid
Devanand, DP., Tabert, MH., Cuasay, K., Manly, JJ., Schupf, N., Brickman, AM., ... Mayeux, R. (2010). Olfactory identification deficits and MCI in a multi-ethnic elderly community sample. Neurobiology of Aging. 31, 1593–1600.
crossref pmid pmc
Djordjevic, J., Jones-Gotman, M., De Sousa, K., & Chertkow, H. (2008). Olfaction in patients with mild cognitive impairment and Alzheimer’s disease. Neurobiology of Aging. 29, 693–706.
crossref pmid
Duong, A., Whitehead, V., Hanratty, K., & Chertkow, H. (2006). The nature of lexico-semantic processing deficits in mild cognitive impairment. Neuropsychologia. 44, 1928–1935.
crossref pmid
Duval, S., & Tweedie, R. (2000). Trim and fill: a simple funnel-plot–based method of testing and adjusting for publication bias in meta-analysis. Biometrics. 56, 455–463.
crossref pmid
Fillenbaum, GG., Mccurry, SM., Kuchibhatla, M., Masaki, KH., Borenstein, AR., Foley, DJ., ... White, L. (2005). Performance on the CERAD neuropsychology battery of two samples of Japanese-American elders: norms for persons with and without dementia. Journal of the International Neuropsychological Society. 11, 192–201.
crossref pmid
Fisher, NJ., Tierney, MC., Snow, GW., & Szalai, JP. (1999). Odd/even short forms of the Boston Naming Test: preliminary geriatric norms. Clinical Neuropsychologist. 13, 359–364.
crossref pmid
Geslani, DM., Tierney, MC., Herrmann, N., & Szalai, JP. (2005). Mild cognitive impairment: an operational definition and its conversion rate to Alzheimer’s disease. Dementia and Geriatric Cognitive Disorders. 19, 383–389.
crossref pmid
Gersten, R., Fuchs, LS., Compton, D., Coyne, M., Greenwood, C., & Innocenti, MS. (2005). Quality indicators for group experimental and quasiexperimental research in special education. Exceptional Children. 71, 149–164.
crossref
Griffith, HR., Netson, KL., Harrell, LE., Zamrini, EY., Brockington, JC., & Marson, DC. (2006). Amnestic mild cognitive impairment: diagnostic outcomes and clinical prediction over a two-year time period. Journal of the International Neuropsychological Society. 12, 166–175.
crossref
Grönholm-Nyman, P., Rinne, JO., & Laine, M. (2010). Learning and forgetting new names and objects in MCI and AD. Neuropsychologia. 48, 1079–1088.
crossref pmid
Grönholm-Nyman, P., Rinne, JO., Vorobyev, VA., & Laine, M. (2007). Neural correlates of naming newly learned objects in MCI. Neuropsychologia. 45, 2355–2368.
crossref pmid
Guo, QH., Zhou, B., Zhao, QH., Wang, B., & Hong, Z. (2012). Memory and Executive Screening (MES): a brief cognitive test for detecting mild cognitive impairment. BMC Meurology. 12, 1–9.
crossref pmid pmc
Harel, BT., Darby, D., Pietrzak, RH., Ellis, KA., Snyder, PJ., & Maruff, P. (2011). Examining the nature of impairment in visual paired associate learning in amnestic mild cognitive impairment. Neuropsychology. 25, 752–762.
crossref pmid
Ivnik, RJ., Malec, JF., Smith, GE., Tangalos, EG., & Petersen, RC. (1996). Neuropsychological tests’ norms above age 55: COWAT, BNT, MAE token, WRAT-R reading, AMNART, STROOP, TMT, and JLO. Clinical Neu-ropsychologist. 10, 262–278.
crossref
Jacova, C., Peters, KR., Beattie, BL., Wong, E., Riddehough, A., Foti, D., ... Feldman, HH. (2008). Cognitive impairment no dementia-Neuropsychological and neuroimaging characterization of an amnestic subgroup. Dementia and Geriatric Cognitive Disorders. 25, 238–247.
crossref pmid
Jefferson, AL., Wong, S., Bolen, E., Ozonoff, A., Green, RC., & Stern, RA. (2006). Cognitive correlates of HVOT performance differ between individuals with mild cognitive impairment and normal controls. Archives of Clinical Neuropsychology. 21, 405–412.
crossref pmid pmc
Jefferson, AL., Wong, S., Gracer, TS., Ozonoff, A., Green, RC., & Stern, RA. (2007). Geriatric performance on an abbreviated version of the Boston Naming Test. Applied Neuropsychology. 14, 215–223.
crossref pmid pmc
Johns, EK., Phillips, NA., Belleville, S., Goupil, D., Babins, L., Kelner, N., ... Chertkow, H. (2012). The profile of executive functioning in amnestic mild cognitive impairment: disproportionate deficits in inhibitory control. Journal of the International Neuropsychological Society. 18, 541–555.
crossref pmid
Joubert, S., Brambati, SM., Ansado, J., Barbeau, EJ., Felician, O., Didic, M., ... Kergoat, MJ. (2010). The cognitive and neural expression of semantic memory impairment in mild cognitive impairment and early Alzheimer’s disease. Neuropsychologia. 48, 978–988.
crossref pmid
Kang, YW., Kim, H., & Na, DL. (1999). A short form of the Korean-Boston Naming Test (K-BNT) for using in dementia patients. Korean Journal of Clinical Psychology. 18, 125–138.

Kaplan, EF., Goodglass, H., & Weintraub, S. (1978). Boston Naming Test (Exp. ed .). Philadelphia: Lea & Febiger.

Kaplan, EF., Goodglass, H., & Weintraub, S. (1983). The Boston Naming Test (2nd ed .). Philadelphia: Lea & Febiger.

Kaplan, E., Goodglass, H., & Weintraub, S. (2001). Boston Naming Test (Pro. ed .). Philadelphia: Lea & Febiger.

Kim, H., & Na, DL. (1997). Korean version-Boston Naming Test. Seoul: Hakjisa.

Kim, H., & Kim, SR. (2013). Development of short form of the Korean version- the Boston Naming Test (K-BNT-15) based on Item Response Theory. Journal of the Korean Contents Association. 13, 321–327.
crossref
Kim, H., & Na, DL. (1999). Normative data on the Korean version of the Boston Naming Test. Journal of Clinical and Experimental Neuropsychology. 21, 127–133.
crossref pmid
Kramer, JH., Nelson, A., Johnson, JK., Yaffe, K., Glenn, S., Rosen, HJ., ... Miller, BL. (2006). Multiple cognitive deficits in amnestic mild cognitive impairment. Dementia and Geriatric Cognitive Disorders. 22, 306–311.
crossref pmid pmc
Laakso, MP., Tervo, S., Hänninen, T., Vanhanen, M., Hallikainen, M., & Soininen, H. (2009). Olfactory identification in non-demented elderly population and in mild cognitive impairment: a comparison of performance in clinical odor identification versus Boston Naming Test. Journal of Neural Transmission. 116, 891–895.
crossref pmid
Lee, GS., Cheong, H., Oh, BH., & Hong, CH. (2009). Comparison of the validity of screening tests for dementia and mild cognitive impairment of the elderly in a community : K-MMSE, MMSE-K, MMSE-KC, and K-HDS. Journal of the Korean Neuropsychiatric Association. 48, 61–69.

Lezak, MD. (1995). Neuropsychological assessment. New York: Oxford Univ. Press.

Mack, WJ., Freed, DM., Williams, BW., & Henderson, VW. (1992). Boston Naming Test: shortened versions for use in Alzheimer’s disease. Journal of Gerontology. 47, 154–158.
crossref pmid
Malek-Ahmadi, M., Raj, A., & Small, BJ. (2011a). Semantic clustering as a neuropsychological predictor for amnestic-MCI. Aging, Neuropsychology, and Cognition. 18, 280–292.
crossref pmid pmc
Malek-Ahmadi, M., Small, BJ., & Raj, A. (2011b). The diagnostic value of controlled oral word association test-FAS and category fluency in single-domain amnestic mild cognitive impairment. Dementia and Geriatric Cognitive Disorders. 32, 235–240.
crossref pmid pmc
Morris, JC., Heyman, A., Mohs, RC., Hughes, JP., van Belle, G., Fillenbaum, G., ... Clark, C. (1989). The Consortium to Establish a Registry for Alzheimer’s Disease (CERAD). Part I: clinical and neuropsychological assessment of Alzheimer’s disease. Neurology. 39, 1159–1165.
crossref pmid
Pa, J., Possin, KL., Wilson, SM., Quitania, LC., Kramer, JH., Boxer, AL., ... Johnson, JK. (2010). Gray matter correlates of set-shifting among neurodegenerative disease, mild cognitive impairment, and healthy older adults. Journal of the International Neuropsychological Society. 16, 640–650.
crossref
Park, E., & Chey, J. (2000). Elderly normative study of the short form Korean-Boston Naming Test. Korean Journal of Cognitive Science. 11, 59–68.

Petersen, RC., Smith, GE., Waring, SC., Ivnik, RJ., Tangalos, EG., & Kokmen, E. (1999). Mild cognitive impairment: clinical characterization and outcome. Archives of Neurology. 56, 303–308.
crossref pmid
Petersen, RC., Stevens, JC., Ganguli, M., Tangalos, EG., Cummings, JL., & DeKosky, ST. (2001). Practice parameter: early detection of dementia: mild cognitive impairment (an evidence-based review) report of the quality standards subcommittee of the American Academy of Neurology. Neurology. 56, 1133–1142.
crossref pmid
Price, SE., Kinsella, GJ., Ong, B., Mullaly, E., Phillips, M., Pangnadasa-Fox, L., ... Storey, E. (2010). Learning and memory in amnestic mild cognitive impairment: contribution of working memory. Journal of the International Neuropsychological Society. 16, 342–351.
crossref pmid
Rami, L., Caprile, C., Gómez-Ansón, B., Sánchez-Valle, R., Monte, GC., Bosch, B., & Molinuevo, JL. (2008). Naming is associated with left temporal pole metabolite levels in neurodegenerative diseases. Dementia and Geriatric Cognitive Disorders. 25, 212–217.
crossref pmid
Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin. 86, 638.
crossref
Schmitter-Edgecombe, M., & Creamer, S. (2010). Assessment of strategic processing during narrative comprehension in individuals with mild cognitive impairment. Journal of the International Neuropsychological Society. 16, 661–671.
crossref pmid
Schmitter-Edgecombe, M., & Sanders, C. (2009). Task switching in mild cognitive impairment: switch and nonswitch costs. Journal of the International Neuropsychological Society. 15, 103–111.
crossref pmid
Schmitter-Edgecombe, M., Woo, E., & Greeley, DR. (2009). Characterizing multiple memory deficits and their relation to everyday functioning in individuals with mild cognitive impairment. Neuropsychology. 23, 168–177.
crossref pmid
Taler, V., & Phillips, NA. (2008). Language performance in Alzheimer’s disease and mild cognitive impairment: a comparative review. Journal of Clinical and Experimental Neuropsychology. 30, 501–556.
crossref pmid
Vliet, ECV., Manly, J., Tang, MX., Marder, K., Bell, K., & Stern, Y. (2003). The neuropsychological profiles of mild Alzheimer’s disease and questionable dementia as compared to age-related cognitive decline. Journal of the International Neuropsychological Society. 9, 720–732.
crossref
Weakley, A., Schmitter-Edgecombe, M., & Anderson, J. (2013). Analysis of verbal fluency ability in amnestic and non-amnestic mild cognitive impairment. Archives of Clinical Neuropsychology. 28, 721–731.
crossref pmid pmc
Williams, BW., Mack, W., & Henderson, VW. (1989). Boston naming test in Alzheimer’s disease. Neuropsychologia. 27, 1073–1079.
crossref pmid
Yeh, YC., Lin, KN., Chen, WT., Lin, CY., Chen, TB., & Wang, PN. (2011). Functional disability profiles in amnestic mild cognitive impairment. Dementia and Geriatric Cognitive Disorders. 31, 225–232.
crossref pmid
Editorial office contact information
Division of Speech Pathology and Audiology
Life Science Hall, 1 Hallymdaehak-gil, Chuncheon Gangwon-do, 24252, Korea
Tel: +82-502-196-1996   Fax: +82-33-256-3420   E-mail: kjcd@kasa1986.or.kr

Copyright © by Korean Academy of Speech-Language Pathology and Audiology. All right reserved.
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
powerd by m2community