컴퓨터 기반 시험(Computer-Based Test, CBT)이란 컴퓨터(데스크톱 PC, 노트북 등)를 활용하여 시험의 진행, 채점, 성적 관리 등을 할 수 있는 유선 네트워크 기반의 시험 방식이다(Korea Health Personnel Licensing Examination Institute, 2021a). CBT는 전통적인 지필 기반 시험(paper-based test, PBT)에 비해 다양한 이점을 제공하는 새로운 기술이며(Cantillon, Irish, & Sales, 2004), 이러한 기술에는 동적인 소리 및 시각적 자료, 사용자 상호 작용성, 적응성, 향상된 신뢰성 및 공정성이 포함된다(Thelwall, 2000). 뿐만 아니라 실시간 점수 보고, 즉각적인 개인화된 피드백, 시간 및 공간의 독립성, 통계 분석을 위한 효율적인 데이터 수집이 가능하다.
CBT에 대한 초기의 관심은 형성 평가에서 표준 PBT와 비교하여 제공하는 시간 효율성에 의해 시작되었다. 이것이 종합 평가에 사용되기 시작하면서, CBT의 성능이 PBT의 성능과 동등한지를 결정하는 것이 중요해졌는데, 선행 연구에 따르면 컴퓨터 기반 테스트가 학생들에게 종종 전통적인 지필 기반 테스트보다 더 선호하는 시험 방식인 것으로 나타났다(Bocij & Greasley, 1999; Ogilvie, Trusk, & Blue, 1999).
이처럼 현대사회에서 컴퓨터와 같은 스마트 기기는 일상에서 매우 보편화되어 있으며 이러한 사회적 맥락 속에서 보건의료인 국가 시험도 지필검사 방식에서 컴퓨터 기반 시험으로 전환되기 시작하였다.
국내 보건 의료 직종의 경우, 한국보건의료인국가시험원(국시원)은 2010년대부터 의사, 치과의사, 한의사 면허시험을 비롯하여 보건의료인 전 직종에 대한 국가시험을 컴퓨터 기반 시험으로 시행한다고 발표하였으며, 그 계획에 따라 2022년 제86회 의사국가고시 필기시험을 지필 시험 방식에서 데스크탑 기반의 CBT로 변경하였다. 단계적으로 치과의사는 2023년 제75회 국가시험부터, 한의사는 2023년 제78회 국가시험부터 적용될 예정이며, 기타 보건의료직종으로는 요양보호사는 2023년도부터(상시시험), 1급 응급구조사는 2023년도 제29회 시험부터, 조산사는 2024년 제35회 국가시험부터, 한약사는 2024년 제25년 국가시험부터, 보건교육사 1, 2급은 2024년 제15회 시험부터, 보조공학사는 2024년 제6회 국가시험부터 예정으로 대부분의 직종들이 CBT로 전환될 예정이며, 언어재활사는 2025년 제14회 1급 국가시험부터 적용되어 2026년에 2급 언어재활사 시험까지 실시될 예정이다.
CBT는 이미 미국 등 주요 선진국과 국내 주요 시험기관에서 도입해 시행하고 있는 시험의 형태로 이러한 컴퓨터를 기반으로 진행되는 시험은 기존의 지필 시험 방식과는 달리, OMR 답안 마킹을 하지 않고, PC에서 바로 답안을 선택할 수 있으며, 시험 시간 안내 방송이 없이 PC에서 남은 시간을 실시간 표시해 주고 시험 종료 시 답안을 자동 제출하도록 하는 시스템이다. 무엇보다도 CBT의 장점은 기존의 지필 방법에 비해 시간과 장소의 제약이 없으며, 채점 방식에서도 시험 결과를 바로 응시자에게 제공할 수 있어 경제적으로 더 효율적일 수 있다. 뿐만 아니라, 동영상, 음성, 3D, 애니메이션 같은 멀티미디어적 요소를 활용하여 실제 임상 상황에 가깝게 효율적으로 문항을 제작하는 것이 가능하다(Lim, 2014; Park, 2021; Rudland, Schwartz, & Ali, 2011).
한편, 언어재활사 국가고시에 실무능력 평가의 중요성과 필요성이 강조됨에 따라 2023년 국가시험부터 사례형 문항 출제가 도입되며, 점차 다른 과목으로 확대될 예정이다. 따라서, 의사소통장애인의 평가와 치료를 담당하는 임상 중심의 특성을 가지는 언어재활사 시험에 CBT를 도입하는 것은 CBT의 시행과 채점, 결과 제공에서의 장점뿐만 아니라, 언어재활사의 직무가 반영된 평가를 할 수 있다는 점에서 실제 직무 상황에서의 문제해결능력을 평가하는 보건의료인의 국가시험 목적에 부합한다고 할 수 있다.
아울러, 언어재활사 국가고시에 문제해결형, 사례중심형 문항의 비중이 늘어나면 2급 언어재활사뿐만 아니라 1급 언어재활사 자격 취득 시 실무능력의 평가를 통해 언어재활사의 질 관리가 이루어진다는 장점을 기대할 수 있고, 현재 시행되고 있는 지필시험에서 구현하기 어려운 임상 상황을 실제에 가까운 다양한 형식과 내용의 문제의 형태로 출제할 수 있는 기반이 된다는 점에서 매우 긍정적이다.
따라서, 이러한 시험 방식의 변화는 언어재활사 국가시험의 수준을 높이고, 변별력과 다양성을 높여 궁극적으로 우수한 보건의료 인력을 배출할 수 있다. 이러한 시대적 흐름에 맞춰 컴퓨터 기반 시험을 앞두고, 새로운 CBT 문항 유형을 개발하였으며, 언어재활사를 대상으로 모의고사 실시 후 CBT에 대한 인식 및 만족도에 대해 조사하고자 한다. 이를 통해 CBT 도입에 따른 문제점 및 애로 사항을 파악하고 CBT 언어재활사 국가시험의 효율적인 운영 기반을 마련하는 기초 자료로 활용하고자 한다.
연구방법
연구대상
본 연구는 2023년 6월 현재 3년 이내에 1급 및 2급 언어재활사 국가고시(제9-11회) 합격한 자 중 모의시험에 참여할 의사가 있는 사람을 자발적으로 모집하였다. 모집 결과, 광주 · 호남 ·제주, 대구·경북, 서울·경기 지역의 98명(남 11명, 여 87명)이 모의고사에 참여하였으며, 모의고사 시험 후 온라인 설문조사를 실시하여 CBT에 대한 인식과 만족도를 조사하였다. 모의고사 후 최종 응답률은 76.5%로 총 응시생 98명 중 75명(남 10명, 여 65명)이 응답하였다.
연구도구
새로운 CBT 문항 개발
본 연구에서 모의고사는 2차례, 8교시에 걸쳐서 진행하였는데, 1차 모의고사는 대면 방식(1-6교시)으로, 2차 모의고사는 비대면 방식(7-8교시)으로 실시하였다. 1차 모의고사의 모든 문항은 현행 언어재활사 국가시험과 동일한 형태, 즉, 객관식 5지 선다형으로 구성하였다. 모든 문항을 지필 기반 시험 형태(1-3교시)와 컴퓨터 기반 시험 형태(1-3교시)의 두 가지 형태로 실시하였으며, CBT는 문항 중 새로운 형식인 멀티미디어형 문항을 따로 구성하여 실시하였다. 멀티미디어형 문항은 제시되는 동영상이나 소리 혹은 사진 자료를 확인하고, 묻는 내용에 따라 제시된 다섯 개의 답 가지 중 옳은 답 하나(최선의 답)를 고르는 문항으로 멀티미디어 문항의 예시는 Figure 1과 같다.
2차 모의고사은 5회 이상 문항 개발 및 국가시험 출제 유경험자 2인이 최근 Lee (2022)가 제시한 보건의료인을 위한 적절한 CBT 문항 유형을 수정보완하여 언어재활사 CBT에 적용가능한 문항 유형을 선정하였다. 먼저, 직접적으로 환자와 접촉하는 직종에서 유용하게 사용될 수 있는 문항 유형인 멀티미디어형과 리치미디어형 이외에 기기작동형-계산기, 드래그아웃앤인형, 드래그앤드롭 텍스트형/이미지형, 매트릭스형, 보타이형, 순서도형, 순위반응형, 역동성 그물형, 크로제형 및 핫스팟형의 13개 유형을 선정하여 문항을 제작하였다.
기기작동형-계산기는 응시자가 문항에서 제시된 기기를 직접 클릭하거나 타이핑하여 답을 구하는 문항 유형으로 계산을 요구하는 문항 유형에 적용 가능하다. 드래그앤드롭형은 답가지를 끌어서(드래그) 해당하는 위치에 놓는(드롭) 유형으로 텍스트, 이미지, 수식 등의 아이템을 이용하여 다양한 응용이 가능하다.
드래그아웃앤인형은 수정이 필요한 부분을 선별하는 능력과 해결책을 찾아 대처하는 능력을 평가하는 유형으로 적절하지 않은 부분을 선택하여 드래그아웃 한 후, 해결안에 해당하는 답가지를 드래그인 한다.
매트릭스형은 격자의 행과 열을 이용하여 여러 개의 질문에 대해 동일한 응답 카테고리를 적용하거나, 반대로 하나의 질문에 대해 여러 측면의 이해도를 평가할 수 있는 유형이다. 각 행과 열에 배치된 관계도가 완성될 수 있게 해당 박스에 표시를 하도록 설계된 문항으로 하나의 문항 세트로 복수의 질문 또는 복수의 답 가지 활용이 모두 가능하다. 보타이형은 문항 줄기로서 사례와 자료를 제시하고, 답안 작성의 형태가 보타이 형태로 구성된다. 보타이 형태는 가운데 박스 1개와 좌우 각각 복수의 박스로 구성되며, 가운데 박스는 진단명, 임상적 특징이나 치료 등으로 구성할 수 있다. 좌측 상자는 가운데 상자의 문제 파악에 필요한 정보, 우측 상자는 문제 해결에 필요한 행동(action), 진단, 치료나 중재 계획, 모니터링 계획/항목 등의 해결방안으로 구성할 수 있다. 순서도형은 사용방법이나 반응발생과정 등의 순서를 올바르게 나열하는 유형이다. 순위나 순위반응형은 필요한 항목을 나열하고 이것의 순서를 드롭다운 메뉴에서 순서를 결정하게 하거나 드래그하여 순서대로 나열하도록 한다. 역동성그물형은 문제에서 주어진 정보 중에서 필요한 정보를 선별적으로 선택하여 확인한 후 문제의 답을 구하는 유형이다. 문제해결을 위해 고려할 수 있는 다양한 정보를 카테고리별로 제시하고, 카테고리 하위단계에 관련 정보를 저장한다. 응시자가 직접 필요한 정보 카테고리를 선택해 정보를 확인하게 하고 문제를 풀게 하는 방식이다.
크로제형(내장단어 선택형)은 사례형 문항에서 사건발생이나 문제점의 정보를 제공하고, 문항줄기에 심겨져 있는 드래그앤드롭을 이용하여 답 가지로부터 답을 찾는 유형으로, 답을 드롭다운 중에서 글, 이름, 숫자 등의 답을 선택한다. 핫스팟형은 문항에서 제시된 이미지, 그래프, 지문(텍스트) 등 위에 답을 직접 지정하는 유형으로 장기의 사진, 미세구조물, 기계모형 등에서 마우스로 답을 선택하여 클릭하는 방식이다. 제작된 CBT 문항의 예시는 Appendix 1과 같다.
연구절차
1차 모의고사는 기존의 지필 시험(PBT) 방식 1-3교시, CBT 방식 1-3교시로 총 6교시로 구성하였다. 1-6교시 중 1, 2교시와 4, 5교시는 현재 실시되고 있는 언어재활사 국가시험 문항 형태를 PBT와 CBT 방식으로 실시하였으며, 3, 6교시는 멀티미디어 문항과 이에 대응하는 짝 문항에 대해 모의고사를 실시하였다. 1급 언어재활사 모의고사의 경우, 1, 2교시와 4, 5교시에 기존 시험 형식인 5지 최선다형 문항(140문항)을 PBT 방식과 CBT 방식으로 각각 실시하였고, 3, 6교시에는 CBT 방식으로 멀티미디어 문항(21문항), 이에 대응하는 문항(21문항)을 PBT 방식으로 실시하였으며 전체 322문항으로 구성되어 있다. 이와 마찬가지로 2급 언어재활사 모의고사의 경우, 1, 2교시와 4, 5교시에 기존 시험 형식인 5지 최선다형 문항(150문항)을 PBT방식과 CBT 방식으로 각각 실시하였고, 3, 6교시에는 CBT 방식으로 멀티미디어 문항(18문항), 이에 대응하는 문항(18문항)을 PBT 방식으로 실시하여 전체 336문항으로 구성하였다.
2차 모의고사(7-8교시)은 새로 개발된 문항 유형(기기작동형-계산기, 드래그아웃앤인형, 드래그앤드롭 텍스트형/이미지형, 매트릭스형, 보타이형, 순서도형, 순위반응형, 역동성 그물형, 크로제형 및 핫스팟형)의 11개 유형을 선정하고 1급은 총 49개, 2급은 총 42개 문항을 컴퓨터로 구현하였으며, 이에 대응하는 기존 국가시험 문항 형태인 짝 문항을 대응 문항으로 구성하여 7, 8교시에 시험을 진행하였다. 모의고사을 위해 언어재활사 국가시험 과목 중 1급은 6과목(신경언어장애, 언어발달장애, 유창성장애, 음성장애, 조음음운장애, 언어재활현장실무), 49문항으로 이루어졌으며, 2급은 5과목(신경언어장애, 유창성장애, 음성장애, 언어발달장애, 조음음운장애), 42문항으로 구성되었다. 학생들은 강의실에서 지필 시험 및 자가 노트북과 이어폰을 준비하여 컴퓨터 모의고사을 치렀으며, 모의고사 종료 후 응시자들에게 google 온라인 설문지 웹사이트 링크를 제공하여 자발적으로 설문조사에 참여하도록 안내하였다. 설문조사는 2023년 7월 15일부터 23일까지 실시하였다.
설문지 개발을 위해 CBT와 관련된 선행연구를 참고하였다(Kim & Han, 2021). 설문지는 응시자의 특성(인구학적 정보 및 컴퓨터 기반 시험 경험) 9문항, CBT 기반 언어재활사 국가자격시험에 대한 인식과 의견(CBT 도입의 필요성, 텍스트 문항 대비 멀티미디어 문항 문제 풀이 소요시간, 멀티미디어 문항이 우선 적용되어야 할 과목, 각 과목당 적정 멀티미디어 문항 수, CBT의 난이도, CBT의 편리성, CBT의 만족도, CBT로 예상되는 장점과 단점, CBT 문항 유형 및 답 가지 유형, 응시과목 문항 수 조절, CBT 도입에 대한 자유 의견) 15문항으로 구성하였다(Table 1).
연구결과
응답자의 인구학적 특성
응답자의 인구학적 정보를 살펴보면, 대상자의 성별은 남 10명(86.7%), 여 65명(13.3%)이었으며 연령대는 20대(61.3%)가 가장 많았고, 30대(28%), 40-50대(10.7%)이었다. 최종 학력은 학사(64.0%), 석사(33.3%), 박사(2.7%)이었다. 급수는 1급 언어재활사(40%), 2급 언어재활사(60%)가 참여하였고, 학부에서 언어치료를 전공한 비율(54.7%), 학부와 대학원 모두(37.3%), 대학원 전공(8%)이었다. 근무기관은 사설언어치료센터(42.7%), 병원(16%), 프리랜서(13.3%), 교육 및 보육기관(5.3%), 복지관(5.3%), 기타(17.3%) 등으로 다양했다. 언어치료경력은 1년 이하(42.7%), 1년 이상 3년 미만(10.7%), 3년 이상 5년 미만(13.3%), 5년 이상 7년 미만(14.7%), 7년 이상 10년 미만(16%), 10년 이상(2.7%)이었으며, 대상자의 73.3%는 CBT에 대한 경험이 있었다.
CBT 기반 언어재활사 국가시험에 대한 인식과 의견
언어재활사 국가시험의 CBT 도입 필요성에 대해 ‘필요하다’ (58.7%)로 가장 많았고, ‘필요하지 않다’ (36%), ‘모르겠다’ (5.3%)로 과반 이상이 필요하다고 응답하였다. 문제 풀이에 소요되는 시간은 PBT에 비해 CBT가 ‘더 많이 소요된다’ (44%), ‘더 많이 소요되지 않는다’ (46.7%), ‘모르겠다’ (9.3%)로 CBT가 종전의 지필 시험(PBT)에 비해 시간이 덜 소요되는 것으로 인식하였다(Figures 2, 3).
언어재활사 CBT 전환 시 멀티미디어 문항 출제가 우선적으로 적용되어야 할 과목으로는 음성장애(73.3%)가 가장 높게 나타났으며, 신경언어장애(57.3%), 유창성장애(32%), 조음음운장애(24%), 언어발달장애(16%), 언어재활현장실무(12%) 순으로 나타났다.
CBT 전환 시 시험과목당 적절한 멀티미디어 문항 수는 ‘3문제’ (40%)가 가장 많았으며, 2문제(28%), 4문제(12%), 5문제 이상(13.3%)으로 나타났다.
멀티미디어 문항이 추가된다면, 현재 국가시험 과목당 시험 문항 수 조절에 대한 설문에서는 조절이 필요하다(34.7%), 유지해도 된다(42.7%), 잘 모르겠다(22.6%)로 유지해야 된다는 응답의 비율이 높았다.
이외에 언어재활사 국가고시 CBT 전환에 있어 문항 수 조절에 대한 의견으로는 ‘신경언어장애’, ‘음성장애’, ‘언어재활현장실무’ 뿐만 아니라 ‘언어발달장애’, ‘조음음음운장애’, ‘유창성장애’도 필요하다는 의견이 있었다. 또한, 문항 수 조절의 이유로는 유창성장애나 조음음운장애는 소리를 듣고 따로 계산해야 하므로 반복재생을 듣고 풀다 보면 소요 시간이 증가한다고 하였다. 계산 문제나 분석 문제는 종이 없이 듣기로만 문제를 풀다 보니 집중력이 떨어지고 시간이 더 많이 걸리므로 따로 종이를 제공해 주거나 시간을 늘려 달라는 의견도 있었다. 또한, 일부는 소리가 잘 들리지 않는 경우가 있어 시간이 더 걸렸다는 의견도 있었다.
CBT로 출제된 새로운 문항 유형 중 어려웠던 문항은 ‘클릭형’ (39.7%), ‘드래그앤드롭-이미지’ (28.6%), ‘드래그아웃앤인형’ (19%), ‘드래그앤드롭-텍스트’ (12.7%)로 나타났다.
CBT의 편리성에 대해서는 PBT에 비해 ‘편리하다’ (41.3%), ‘편리하지 않다’ (41.3%)로 동일하게 나타났다. 편리한 이유로는 “디지털 환경이 익숙하였다”, “OMR보다 클릭이 시간이 적게 걸렸다”, “답안지 마킹을 할 필요가 없어서 시험시간에 여유가 있었다”, “한 화면에 1문제만 제공되어 집중이 더 잘 된다”, “보기의 예시가 좋았다”라고 응답하였다. 반면, 편리하지 않은 이유는 “종이가 없는 상황에서 계산 문제를 푸는 것이 어려웠다”, “익숙하지 않아서 집중하기 어려웠다”, “멀티미디어 소리, 이어폰 호환 등과 같은 기술적 어려움이 있었다”, “눈이 피로해서 시험에 방해가 되었다”라는 의견이 있었다.
CBT가 숙달된다면 CBT의 만족도는 ‘만족’ (49.3%), ‘보통’ (28%), ‘매우 만족’ (17.3%), ‘불만족’ (5.4%)으로 응답자의 대부분이 만족하는 것으로 나타났다(Figure 4).
이외에 CBT 도입에 대한 자유 의견으로는 사전과 유사하게 “방법이 익숙하지 않다”, “종이 사용이 불가하니 메모나 계산기 기능이 필요하다”, “철저한 사전 준비와 문항 개발이 선행되어야 한다”, “멀티미디어 문항의 질이 충분히 고려되어야 한다”, “완성도 높은 기술적 준비” 등의 의견이 있었다.
CBT의 장점으로는 임상 상황을 실제와 유사하게 구현함으로써 응시자의 문제 해결능력을 종합적으로 평가(73.3%), 기존의 문자 중심의 단순한 문항 형태보다 현실감 있는 다양한 매체 제시(예: 영상, 오디오 등을 이용한 문제 제시) (65.3%), 정답 표시와 답안 수정의 편리성(33.3%), 다양한 응답 방식(예: 클릭, 드래그 등), 화면 구성의 편리함 또는 지문 읽기의 편리성(18.7%), 시간 단축과 시간 배분의 효율성(21.3%), 정답 표시와 답안 수정의 편리성(33.3%), 시험에 대한 집중도 향상(4%), 시험 결과에 대한 즉각적인 피드백(25.3%), 부정행위 방지(9%), 새로운 시험 방식에 대한 동기(10%), 단순한 지식보다 질 높은 임상 중심 평가 가능(29.3%) 등이 있었다.
반면, CBT의 단점에 대한 설문에서는 계산 시 불편함(62.7%), 시험방식이 익숙하지 않음(49.3%), 기술적 문제 발생에 대한 염려(41.3%), 정답 표시와 답안 수정의 불편함(40%), 화면구성의 불편함 또는 지문 읽기의 어려움(38.7%), 시험 시간 연장과 시간 배분의 비효율성(25.3%), 지필고사보다 난이도가 더 어려움(25%), 부정 행위 가능성(18.7%), 시험에 대한 집중도 저하(26.7%)로 나타났다.
활용 가능한 문제 유형으로는 사진, 동영상, 소리, 3D, 애니메이션 등을 이용한 멀티미디어 문항(97.3%), 환자와의 대화, 실험 진행 등 실제 상황을 비디오로 보여주고 문제를 푸는 시나리오형(82.7%)이 적절하다고 응답하였다. 또한, CBT 답 가지 방식으로는 오지선다 선택지에서 정답을 선택하는 클릭형(94.7%)이 가장 많았고, 뇌 사진, 구조물, 기계모형 등에서 정답지점을 클릭하는 핫스팟형(49.3%), 여러 질문과 답변 중 서로 관련 있는 것을 선으로 연결하는 매칭형(40%)이 적절하다고 응답하였다.
마지막으로 모의고사 시험 후 CBT 기반 언어재활사 국가자격증 시험에 대한 개인적인 의견 혹은 제안점으로는 “편리성에 있어서는 마킹을 하지 않아 시간 절약이 되어 좋았다”는 의견이 많았으며, “통신 및 기기상의 오류가 없다면 컴퓨터가 더 익숙한 세대에게 좋을 것 같다”는 의견이 많았으나, 컴퓨터에 익숙하지 못한 사람은 긴장감을 호소하였다. 문제를 푸는 과정에서는 조음이나 언어발달의 경우, 듣기에 문제로 인해 많은 시간이 소요되거나 어려움 부분 있었으며, 특히, “멀티미디어 문항에서 음성이나 말소리를 들려줄 때 반복해서 들어야 하므로 자막이나 보기가 있으면 편리할 것 같다”는 의견도 있었다. 또한, “한 문제씩 화면에 문제가 뜨다 보니 문제마다 배분할 수 있는 시간이 조금 어렵다”는 의견도 있었다. 기술적인 부분에서는 멀티미디어 문항에서 각 문제마다 음량이 균일하지 않아서 사용자가 음량을 매번 조절해야 했으므로, “사운드부분에서 최적화된 진행이 필요하다”고 느꼈으며, 특히, “환자의 말소리가 더 크고 명확하게 들렸으면 좋겠다”고 의견을 제시하였다. 이외에 “이전 문항으로 돌아가기 혹은 선택 문항으로 돌아가기, 답안 보류 체크하기, 메모 표기, 답안 소거, 중간 저장하기 등을 위한 기술적 지원이 보완되면 좋겠다”는 의견도 있었다. 또한, “부정행위 방지를 위해 모두 문항 번호는 랜덤으로 제공하는 등의 방법이 필요하다”는 의견도 있었다. 따라서, “음성의 크기, 소음, 이미지 화질 등 멀티미디어 자료의 질적인 부분에 대한 개선과 기술적인 안정화가 필요하다”는 의견이 있었다. 또한, 기기작동형-계산기의 경우 계산기를 작동하는 데 어려움을 보이는 경우도 있었으며, “작동에 익숙하지 않다”는 의견도 있었다. 특히, 계산할 때, 메모가 필요한 경우 종이나 메모할 수 있는 기능이 없어서 불편함을 호소하는 경우가 많았으며, “계산하는 문제나 전사해서 풀어야 되는 문제는 종이를 배부하여 직접 써서 풀 수 있게 하면 좋을 것 같다”는 의견도 있었다. “문제를 푸는데 시간이 더 소요되고, 난이도가 좀 더 높다”고 느끼는 경우도 있었다. 이러한 문제에도 불구하고, 청각적, 시각적 자료로 제시되어 좀 더 임상 현장에 가깝게 자료를 제시하여 언어재활사의 역량을 좀 더 전문적으로 평가가 가능한 것으로 인식하였다.
논의 및 결론
본 연구는 언어재활사 국가 시험에 도입될 예정인 컴퓨터 기반 시험에 대비하여 모의고사을 경험한 75명을 대상으로 설문 조사를 실시하여 CBT의 도입에 대한 언어재활사의 인식과 만족도를 조사하여 결과를 분석하였다.
설문 결과, 컴퓨터 기반 시험에 대한 선호도는 과반수 이상의 응시자가 CBT 도입에 찬성하는 것으로 나타났는데, 이는 국내외 의사, 한의사 학생들이 지필 시험보다 CBT를 선호하는 것과 일치된 결과이다(Butzin, Friedman, & Brwonlee, 1984; Kim & Han, 2021; Lim et al., 2008; Ogilvie et al., 1999). 일부 소수 응시자 중에는 눈의 피로도, 집중력 저하 등과 같은 불만도 있었으나, CBT에 대해 흥미롭고 바람직한 방향이라고 응답하는 경우도 많았다. 또한, 본 연구의 응시자의 73.3%는 컴퓨터 기반 시험(CBT)에 대한 경험이 있는 것으로 나타났는데, 컴퓨터에 좀 더 익숙한 세대에서는 컴퓨터 기반 시험이 기존 지필 시험에 비해 친숙도가 높으므로 컴퓨터 시험으로 전환에 큰 문제는 없을 것으로 사료된다.
또한, 유사 선행연구에서 학생들의 컴퓨터 기반 시험 편의성에 대해 거의 대부분 동의하는 것으로 나타났으나(Kim & Han, 2021; Lim et al., 2008), 본 연구에서는 CBT의 편리성에 있어서는 ‘편리하다’와 ‘편리하지 않다’가 동일한 비율로 나타났다. 가장 편리한 점으로는 답안지 마킹을 하지 않아도 되는 편리함이 가장 컸으나, 단점으로는 계산 시 불편함, 시험방식이 익숙하지 않음, 기술적인 부분에 대해 염려하는 것으로 나타났다. 이와 관련한 이유로는 계산 시 불편함으로 인식한 경우 대부분은 언어재활사 시험 특성상 소리를 듣고 발음을 전사하여 문제를 풀어야 하는 부분이 있었는데, 종이나 메모장의 기능 제공 없이 단순히 소리를 듣고 문제를 풀어야 했기에 문제를 푸는 데 시간이 더 많이 소요되고 어렵게 느껴지는 부분이 있었으리라 사료된다. 따라서, 추후 CBT가 시행된다면, 기술적 지원과 함께 기술적인 문제 발생 시 매뉴얼이나 대처 방안이 제시되고, 안정화가 이루어진다면, CBT의 편리성과 만족도가 훨씬 더 증가할 것으로 여겨진다.
아울러, 본 연구에서는 언어재활사 CBT에 도입 가능성이 있는 여러 가지 유형의 문항을 시험 과목별로 출제하고 구현하여 실제 적용하였다. 해외의 경우, 언어재활사 자격시험 역시 다른 보건의료 자격시험과 동일하게 컴퓨터 기반으로 시행되고 있는데, 미국 언어재활사 CBT의 경우, 시험시간은 150분이며, ‘Articulation, Fluency, Voice resonance, and motor speech, Receptive and expressive language, Hearing, Swallowing, Social aspects of communication, Cognitive aspects of communication’ 등 9개 과목 132문항을 컴퓨터 기반으로 실시하고 있으며(ASAH, 2021), 캐나다의 언어재활사 자격시험(170문항, 225분)도 동일하게 컴퓨터 기반으로 실시되고 있다(https://sac-oac.ca).
대표적으로 미국의 경우를 살펴보면, 미국 언어재활사 자격시험 주관기관인 Praxis®에서 제시하고 있는 예시 문항은 ‘보기 중 하나 이상을 클릭하여 답을 선택하기’, ‘상자에 답 입력하기’, ‘박스 중 하나 이상을 선택하여 답을 선택하기’, ‘그래픽(차트, 그림)의 특정 부분을 클릭하여 답을 선택하기’, ‘읽기 문단 내의 문장을 클릭하여 답을 선택하기’, ‘답을 선택하여 표, 텍스트, 그래픽의 적절한 위치로 드래그하기’, ‘문장완성처럼 드롭다운 메뉴에서 답변을 선택하기’ 등으로 한국보건의료인국가시험 CBT 유형(클릭형, 멀티미디어형, 드래그형, 단어찾기형)과 유사한 것으로 나타났다.
본 연구에서는 1차 모의고사의 CBT에서는 멀티미디어 문항을 포함하였는데, 이러한 문항들은 PBT에 비해 지문이나 텍스트로 문항 가지를 제시하는 것보다 언어재활사의 직무능력을 평가하기에 매우 유용하였다. 아울러, 현재 언어재활사의 국가시험에는 언어발달장애, 신경언어장애, 유창성장애, 음성장애, 조음음운장애, 언어재활현장실무(1급만) 과목이 포함되며 다른 직종과 달리 실기시험이 없는데, 멀티미디어 문항은 의사소통장애의 평가의 핵심인 환자의 말, 발화, 음성을 소리파일이나 동영상으로 보여주거나 탑재하기 쉬우므로 다른 보건의료직종에 비해 이러한 종류의 멀티미디어 문항 유형들이 언어재활사의 임상 실무능력을 파악하기에 매우 적절하다고 여겨진다. 본 연구결과, 멀티미디어 문항을 가장 먼저 적용 가능한 과목으로 ‘음성장애’가 가장 많았는데, 환자의 음성이나 발화, 소리와 같은 문제를 평가하고 이를 중재하는 과목이므로 멀티미디어로 구현한다면 보다 임상 실제와 가깝게 구현이 가능할 것으로 여겨진다. 하지만 환자의 영상, 소리, 이미지 등의 자료 확보가 중요한데, 개인정보 보호 및 보안은 중요한 이슈이며 비식별 개인 의료데이터에 접근에 대한 적절한 수단과 절차가 마련되어야 할 것이다.
본 연구에서 새롭게 시도된 CBT 문항들 중 멀티미디어 문항은 멀티미디어 문항 유형 중 멀티미디어형-그래프, 멀티미디어형-동영상(multimedia-video), 멀티미디어형-사진(multimedia -picture), 멀티미디어형-소리(multimedia-sound)를 선정하였는데, 이러한 문항 유형들을 선정한 이유는 언어재활사의 주요 직무능력 중 하나가 기기를 이용한 객관적 평가와 함께 환자의 음성이나 발화를 귀로 듣고 음도, 강도, 음질, 공명을 평가하거나, 발화를 듣고 발음(자음 혹은 모음)의 정확도, 말더듬의 비유창성 빈도나 유형, 신경학적 문제로 인해 나타나는 실어증과 같은 신경언어장애나 마비말장애 같은 신경말장애의 유형과 중증도 등을 파악할 수 있으며, 삼킴장애를 선별할 수 있기 때문에 멀티미디어-소리 유형은 언어재활현장에서 평가의 ‘황금 기준(gold standared)’이라 불릴 만큼 중요한 언어재활사의 청지각적 평가에 대한 실무 능력을 파악하기 위한 문항을 개발하기에 적절하다. 또한, 멀티미디어 문항 유형 중 소리는 지필평가에서 나타내기 어려운 환자의 말소리 혹은 음성의 특성이나 증상들을 실제와 가깝게 구현할 수 있기 때문에 이러한 측면에서 언어재활사의 시험 직종에 매우 적합한 문항이라 사료된다. 아울러, 이러한 문제를 유발시키는 구조나 기능을 평가하기 위해 환자의 자세나, 호흡 및 발성기관, 공명기관, 조음기관, 삼킴 기관의 구조나 기능을 눈으로 보고 평가하는 임상가 기반의 청지각적 및 시지각적인 주관적 평가 능력이 무엇보다도 중요한데 멀티미디어-사진이나 멀티미디어-동영상, 멀티미디어-그래프 유형은 이러한 시지각적인 평가를 실제 임상 현장과 가깝게 구현할 수 있는 장점이 있다.
CBT를 2022년부터 시작한 의사 직종의 경우, 컴퓨터(데스크톱 PC, 노트북 등)를 활용하여 시험의 진행, 채점, 성적 관리 등을 할 수 있는 유선 네트워크 기반의 시험 방식을 시행하였으며, 국시원 홈페이지를 통해 컴퓨터 시험에서 사용하는 응시자 프로그램의 다양한 기능을 미리 연습해 볼 수 있는 CBT 튜토리얼을 제공하여 로그인, 응시자 안내 및 각종 편의기능을 이용한 문제풀이 등 다양한 기능 제공하고 있다. 또한, 튜토리얼의 문제는 국시원에서 제공하는 예시 문항으로 구성되어 있으며, ‘CBT 체험하기’를 클릭하여 CBT를 미리 체험하도록 정보를 제공하고 있다(Korea Health Personnel Licensing Examination Institute, 2021b). 또한, 의사 직종의 경우, 전체 320개 시험 문항 중 동영상, 소리 등이 포함된 멀티미디어 문항 이 3문항 포함되어 있는데, 본 연구에서도 멀티미디어 문항 수와 관련하여 조사한 결과, 멀티미디어 문항 수는 3문제가 가장 많은 것으로 나타났다.
또한, 본 연구에서 새로 시도된 CBT 문항들 중 기기작동형-계산기는 비교적 비교적 구현이 쉬운 문항 유형이었으나, 언어재활사 시험 특성상 소리를 반복해서 듣고 계산 전에 분석 과정이 필요한데 종이나 펜이 없이는 반복재생해서 듣거나 소리를 기억해서 문제를 풀어야 하는 어려움이 있었다. 따라서, 이러한 불편함을 해소하기 위해서는 CBT에서 마킹하거나 컴퓨터 화면에 글씨 쓰기와 같은 부가적인 기능들이 필요하였으며, 계산기 클릭이 잘 안되는 경우도 발생하여 기술적인 구현의 문제가 더 세밀히 지원되어야 할 필요가 있었다.
또한, CBT 문항의 유형들은 임상 실무와 관련된 해석형이나 해결형 문제가 많았고, 단순 클릭형이 아닌 박스안으로 드랍인하거나 아웃하는 방식들은 기존에 접하지 못한 문제 유형들로서 대상자들에게 익숙지 않은 문제 유형일 수 있으므로 문제를 이해하는 데 시간이 더 소요되었을 것으로 추측된다. 또한, 본 연구에서 CBT의 단점으로 지필고사에 비해 어렵다고 인식하는 경우가 많았는데, CBT의 새로운 문항 유형들은 기존의 교과서적 지식보다는 실제 환자의 소리나 동영상, 환자 챠트나 기록지와 같은 데이터들을 보고 해석하여 문제를 푸는 방식이 많았으므로 난이도가 높아진 것으로 여겨진다. 따라서, 난이도 증가에 따른 시험 시간이나 문항수의 조절도 고려해 볼 수 있으나, 학교 현장에서 수업 방식이 암기형 지식보다는 임상 실무 중심의 현장형 교육으로의 전환이 우선되어야 할 것이다.
종합해 볼 때, CBT 도입은 언어재활사 국가고시가 보다 타당한 시험으로 발전하는데 큰 도움이 될 것이다. 하지만, CBT의 여러 가지 장점과 유용성에도 불구하고, 본 연구의 CBT 모의고사을 통해 인식된 새로운 문항 유형에 대한 적용성 측면에서 제한점 및 제언은 다음과 같다.
첫째, 멀티미디어 문항들을 출제하기 위해서는 환자의 영상, 소리, 이미지 등의 자료 확보가 중요한데, 개인정보 보호 및 보안은 중요한 이슈가 될 수 있으므로 무엇보다도 환자 동의뿐만 아니라 비식별 개인 의료데이터에 접근에 대한 적절한 수단과 절차가 마련되어야 한다.
둘째, 본 연구에서 새로이 시도된 CBT 문항들 중 기기작동형-계산기는 비교적 구현이 쉬운 문항 유형이었다. 하지만, 언어재활사 시험 특성상 소리를 반복해서 듣고 계산 전에 분석 과정이 필요한데 종이나 펜이 없이는 반복재생해서 듣거나 소리를 기억해서 문제를 풀어야 하는 어려움이 있었다. 따라서, 이러한 불편함을 해소하기 위해서는 CBT에서 마킹하거나 컴퓨터 화면에 글씨 쓰기와 같은 부가적인 기능들의 도입을 고려해 볼 수 있을 것이다. 또한, 계산기 클릭이 잘 안되는 경우도 발생하였으므로, 기술적인 구현의 문제가 더 세밀히 지원되어야 한다.
셋째, 1, 2차 모의고사에서 제공된 새롭게 개발된 CBT 문항 유형들은 전공 적합성, 가독성, 기술 구현 가능성 등을 고려하여 멀티미디어 문항을 포함하여 12개의 새로운 유형들이 구현되었는데, PBT에 비해 문제 푸는 데 더 많은 시간이 소요되었다. 이러한 이유로는 새로운 형태의 문항 유형에 친숙하지 않아서 시간이 오래 걸릴 수도 있으나, 제시된 사례와 자료를 이해해야 문항을 풀 수 있으므로 문항 구현 시 제공되는 정보의 양을 적절하게 조절할 필요가 있다.
넷째, 출제된 문항들이 비교적 조작이 용이하고, 문항 구현이 기술적으로 어렵지 않았으나, 문항 유형에 따라 기술적인 지원이 더 요구되는 문항 유형들도 있었다. 특히, 동영상이나 사진의 해상도나 소리의 음질과 같은 오디오 기능이나 음향 개선이 필요하였으며, 문항 유형을 기술적으로 구현하지 못한 부분은 문항 출제에서 제외되었으므로 기술적 구현 가능성 여부를 검토하고 이에 대한 부분을 해결할 필요가 있다. 컴퓨터기반시험 시스템의 구축의 성공적인 요건은 응시자를 배려한 시스템의 구축이다(Kim & Han, 2021). 시험 도중 문제점이 발생하지 않도록 전산 시스템을 사전에 잘 점검하며, 응시자의 편리성과 만족도를 높여서 응시자의 실력이 최대한 반영될 수 있도록 다양한 기능을 두루 탑재할 필요가 있다. 따라서, 2025년부터 시행되는 언어재활사 CBT 국가시험을 앞두고, 언어재활사의 CBT에 대한 인식과 모의고사을 통해서 도출된 문제점을 파악하여 언어재활사 컴퓨터 기반의 국가시험을 철저히 준비해 나가야 할 것이다. 추후 이러한 점이 잘 반영되고 보완되어 성공적이고 안정적인 언어재활사 CBT 국가시험 체계가 구축될 수 있기를 기대한다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation 
Supplement
Print 
