청각장애(hearing impairments, HI)는 난청(hard of hearing)부터 농(deaf)까지를 모두 포함하는 포괄적인 용어로 난청인 경우에는 보청기나 인공와우 등과 같은 보조공학기기를 활용하여 어느 정도의 청각적 정보처리가 가능하지만, 농인 경우에는 청각을 통한 정보처리가 어렵기 때문에 시각적인 방법을 통해 타인과 의사소통을 한다(Lee & Park, 2011). 보청기나 인공와우 등을 사용하는 청각장애인들은 제한적인 청각적 정보를 통해서 말과 언어를 습득하고 발전시켜야 하기 때문에 일상에서의 자연스럽고 원활한 의사소 통을 할 수 있도록 잔존 청력을 최대한 활용하는 청능재활 교육을 받는다(Lee, 2017). 청각적으로 정보를 처리하는 데 제한을 가지고 있는 청각장애인들은 음성언어 기반의 의사소통에 제약이 있으므로 수화를 사용하는 경우가 많으며 일상에서 수화를 모르는 건청인들과 대면하여 의사소통하는 데 어려움을 가지고 있다(Kim, 2001; Kim & Lee, 2013).
수화를 주로 구사하여 의사소통을 하는 청각장애인의 경우, 수화를 아는 사람과의 의사소통에는 큰 어려움이 없지만 수화를 모 르는 사람과의 의사소통을 위해서는 수화통역사를 필요로 하거나 종이에 쓰는 필담을 사용해야 한다. 그러나 수화통역사나 속기 서비스의 활용은 긴급한 상황이나 사생활 보장이 요구되는 사적인 대화, 장기간의 활용에서 곤란한 경우가 있다. 필담은 정확한 의사를 전달할 수는 있지만 시간이 많이 걸려 의사소통이 지연된다는 제약이 있고(Lee, Seo-Moon, Kim, & Lee, 2013), 수화만 사용하는 청각장애인이 일반언어와 그 문법체계를 잘 모르는 경우 글을 이해할 수 없다는 한계를 가진다(Kim & Lee, 2013). 그러므로 수화를 주로 이용하는 청각장애학생이 수화를 아는 학생이 별로 없는 일반학교에 통합되어 있으면 의사소통이나 사회적 상호작용의 제한으로 인해 사회적 고립을 경험하게 된다(Smith, 2007).
구화가 가능한 청각장애인의 경우, 발음의 정확성 정도에 따라 의사소통 상대자의 범위(친숙한 사람부터 친숙하지 않은 사람)와 의사소통 수준(단어 수준 또는 문장 수준)이 다양하게 나타난다. 또한 청각장애인들은 본인의 발화를 들을 수 없기 때문에 억양, 높낮이, 장단 등을 조절하기 어려워 대화 상대자에게 불편함을 느끼게 할 수도 있다(Lee, Seo-Moon et al., 2013). 화자의 입술 움직임을 보고 말을 이해하는 독화가 가능한 청각장애인의 경우, 수화를 알지 못하거나 친숙하지 않은 건청인과의 의사소통이 가능하다는 장점이 있다. 그러나 정확한 독화를 위해서는 대화 상대자의 입술 움직임을 빠르게 분별할 수 있는 예민한 시지각 능력이 필요하므로 장기간 대화 시 쉽게 피로해지며 같은 입 모양이 다른 말소리를 표현하는 경우도 있기 때문에(Lee & Park, 2009) 부정확한 독화로 상대방의 말소리를 정확히 이해하는 데 어려움을 겪기도 한다. 이러한 의사소통의 제약으로 인해 청각장애인들은 독립적인 일상생활이나 다양한 사회활동에서 많은 한계와 소외를 경험하기도 한다.
이러한 제한된 의사소통능력을 보완 또는 대체하기 위해 최근에는 스마트폰이나 태블릿 PC 등과 같이 시간공간의 제약 없이 양방향 소통을 할 수 있는 스마트 미디어(smart media)에 대한 요구와 활용이 증가하고 있으며(Lee, Kang, & Kim, 2013; Yim, Kim, Park, Cheon, & Lee, 2014) 다양한 스마트기기 기반의 의사소통 보조기기들이 개발되고 있다. 그 중 청각장애인과 건청인의 원활한 의사소통을 돕기 위한 음성합성이나 음성인식 등의 음성기술에 기반한 보조공학기기들이 다음과 같은 이유로 각광을 받고 있다. 컴퓨터와 공학기술이 발달함에 따라서 음성합성 기술은 단순한 합성음의 생성을 넘어서 문자를 음성으로 변환하는 영역(text-to-speech conversion)으로 확장되었다(Lee & Park, 2009). 음성합성 기술은 현재 감정표현이 어렵고, 낭독체 음성이라는 한계를 가지고 있기는 하지만, 문자를 소리로 변환하는 정확도는 100%까지 도달한 실정이다. 따라서 음성합성 기술을 이용하면 건청인도 청각장애인이 작성한 문자를 음성으로 들을 수 있게 된다. 음성인식 기술은 소음이 있는 환경에서 사용하는 데 한계가 있고 음성인식률이 아직 100%에 도달하지 못하여 인식오류가 발생하기는 하지만, 사용자 인터페이스의 설계에 따라서 일상적인 대화 환경에서 활용하기에는 충분한 인식률에 도달하였다. 이러한 음성인식 기술을 이용하면 건청인의 가장 자연스럽고 일반적인 의사소통 수단인 음성을 문자로 변환하여 청각장애인에게 보여줄 수 있다는 장점이 있다. 기존의 음성인식 관련 연구들은 스마트폰 인터페이스의 발전과 자동번역시스템의 상용화에 힘입어 주로 일반 성인들을 대상으로 실행되어 왔으나(Lee & Kim, 2016) 최근에는 음성인식 기술의 적용대상이 말소리장애를 가지고 있는 아동에게로까지 확장되어 음성인식기술을 이용한 청능 훈련이나 말 산출 능력을 향상시키기 위한 모바일 앱의 개발(Lee, 2017; Lee & Kim, 2016)이 이루어지고 있다.
최근 안드로이드나 iOS와 같은 모바일 단말기 운영체제의 등장과 내장형 음성인식/음성합성 기술의 발전으로 Deaf-Hearing Chat-D/H (Sarslander, 2016)나 Virtual Voice (Hannaway, 2012)처럼 발화나 독화에 어려움이 있는 청각장애인이 간편히 휴대할 수 있는 모바일 의사소통 장비들이 개발되었으나 영어권에서 개발된 기기들의 경우 한국어에 대한 지원 및 사용자 편의 기능이 미흡한 실정이다. 이러한 기존 의사소통 기기들의 제한점을 보완하기 위해 본 연구에서는 청각장애인이 건청인 대화 상대자와 일상에서 대면 의사소통을 할 때 경험하는 어려움과 의사소통 지원요구가 무엇인지 파악하고, 이를 반영한 한국형 음성기술 기반 대면 의사소통 앱을 구현하여, 실 사용자인 청각장애인을 대상으로 사용성 평가를 실시하여 의사소통 앱 개발의 타당성, 사용 편의성, 만족도, 활용도, 추후 보완 및 개선사항들을 도출하고자 한다. 보다 구체적인 연구문제는 다음과 같다.
1. 청각장애인과 건청인 대화 상대자가 일상에서 대면 의사소통을 할 때 경험하는 어려움과 의사소통 지원요구들은 무엇인가?
2. 위에서 도출된 의사소통 지원요구들을 반영하여 구현된 음성기술 기반 대면 의사소통 앱은 무엇인가?
3. 개발된 음성기술 기반 대면 의사소통 앱의 실제 사용성은 어떠한가?
연구방법
청각장애인과 건청인 대화 상대자의 의사소통 지원 기능요구 조사
일상의 대면 의사소통 상황에서 청각장애인과 건청인 대화 상대자의 의사소통 지원 기능요구를 조사하기 위해서 다음의 네 가지 방법을 통한 의사소통 기능요구 조사가 실행되었다. (1) 기존의 청각장애인용 음성기술 기반 의사소통 앱 분석, (2) 청각장애인의 의사소통 능력별 음성기술 요구사항 분석, (3) 관련 선행연구 분석, (4) 청각장애인 사용자의 언어장애인용 앱 분석.
기존 청각장애인용 음성기술 기반 의사소통 앱 분석
기존 청각장애인용 의사소통 앱의 세부 기능 및 인터페이스 요구조사를 위해서 현재 가장 큰 앱 시장인 안드로이드 기반의 구글 플레이 스토어(Google Play Store)와 iOS 기반의 앱 스토어(App Store)를 통해서 청각장애인과 건청인 간의 의사소통에 사용되는 국내외의 앱들을 조사하였다. 앱 스토어에서 ‘청각장애’와 ‘청각장애 의사소통’을 검색어로 사용하여 관련 앱을 검색한 결과 수화, 청력검사, 청능재활, 보청기, 문자음성 변환, 음성인식 등에 관한 다양한 앱들이 검색되었는데 이 가운데 음성인식이나 음성합성과 관련된 음성기술에 기반한 의사소통 앱을 선별하여 총 14개의 국내외 청각장애인용 앱을 최종 분석 대상으로 선정하였다. 선정된 모바일 의사소통 도구들이 단문 음성합성 기능, 장문 음성합성기능, 음성인식기능, 자주 사용되는 단어나 문장의 재사용 기능을 가지고 있는지 여부를 조사한 후, 이를 토대로 청각장애인의 의사표현 및 건청인의 청각장애인 대상 의사표현을 위한 편의기능들을 도출하였다. 또한 분석대상 의사소통 앱의 세부 기능 및 사용자 인터페이스를 조사하기 위해서 각 의사소통 앱을 모바일기기에 설치한 후 자유롭게 시연하면서 다양한 기능의 지원여부를 살펴보았다.
청각장애인의 의사소통 능력별 음성기술 요구사항 분석
청각장애인들은 장애 정도나 교육 배경에 따라서 수화, 독화, 필담, 구화 등의 다양한 방법을 통해 의사소통을 한다. 청각장애인의 의사소통 능력별 음성기술 요구사항을 분석하기 위해 다음의 선정기준에 부합하는 청각장애인을 모집하였다. (1) 19-60세 사이의 성인으로 청각장애가 있는 사람, (2) 읽기와 쓰기가 가능한 사람, (3) 시각장애와 같은 중복감각장애가 없는 사람, (4) 연구자의 언어적 지시를 따를 수 있는 인지능력을 가진 사람. 최종 선정된 총 32명의 참가자를 대상으로 청각장애인 본인의 의사 표현능력을 수화만 가능/구화만 가능/수화 ·구화 가능으로 구분하고, 본인이 건청인 대화 상대자의 의사를 이해하는 능력을 수화만 가능/독화(독술)만 가능/수화·독화 가능으로 구분한 후, 청각장애인들이 친숙하지 않은 건청인과 일상에서 대면하여 의사소통을 할 때 각자 본인의 의사소통 방법을 사용하는 데 있어서 건청인과의 원활한 대면 의사소통을 위해 어떠한 음성기술 관련 의사소통 보조가 필요하다고 생각하는지를 작성하도록 요청하였다. 최종 선정된 연구 참가자의 기본 정보와 의사소통 능력 및 특성에 대한 정보는 Appendix 1에 구체적으로 제시되어 있다.
관련 선행연구 분석
언어·청각장애인을 위한 의사소통 도구의 음성기술기반 지원 요구에 관한 기존의 선행연구(Choi & Hong, 2014; Hong, 2013)를 통해서 청각장애인이 일상에서 건청인 대화 상대자와 의사소통을 할 때 효율적인 의사소통을 위해 필요한 의사소통 요구기능들이 무엇인지를 조사 · 분석하였다.
청각장애인 사용자의 언어장애인용 앱 분석
청각장애인이 실제 일상에서 건청인과 의사소통을 할 때 어떠한 의사소통 기능에 대한 지원이 필요한지 조사하기 위해서, 미용실을 운영하는 청각장애인에게 자연스러운 직업 환경에서 언어장애인용 의사소통 앱인 ‘진소리(Jinsori)’(Choi & Hong, 2014)를 사용하고 건청인 의사소통 상대(예: 미용실 고객 등)에게는 휴대폰에 내장되어 있는 구글 음성인식 기능과 메신저 타이핑 기능을 사용하도록 요청하였다. 일정 기간 사용한 후 면담을 통해 건청인과의 의사소통에 어떠한 불편함이 있었는지, 어떠한 의사소통 기능이 지원되면 좋은지를 조사하였다.
청각장애인을 위한 음성기술 기반 대면 의사소통 앱 구현
청각장애인을 위한 음성기술 기반 대면 의사소통 앱 사용성 평가
연구 대상
본 연구에서 구현한 청각장애인용 음성기술 기반 대면 의사소통 앱의 사용성 평가를 위해 청각장애인의 의사소통능력별 음성기술 요구분석에 참여했던 청각장애인들 가운데 본 앱의 사용성 평가에 참여하기를 원하는 청각장애인 총 25명을 모집하였다. 참가자 기본정보 설문지를 통해 청각장애인 참가자의 연령, 성별, 청각장애 발생 시기 및 등급, 구어로 의사전달 시 건청인의 이해 정도(구어 표현능력), 구어로 의사전달을 받을 때 본인의 이해 정도(구어 수용능력), 일상에서 건청인과의 의사소통 방법 및 정도 등을 조사하였다. 구체적인 참가자 기본 정보는 다음의 Table 1에 제시되어 있다.
Table 1.
Participants' characteristics
HI = hearing impairments; M = male; F = female; CHI = congenital HI; AHI = acquired HI (year of disability occurrence); Oral expression ability = the speaking level of the person with HI as the following: 1, I can speak as well as the people without HI; 2, I can speak as well as the people without HI, with the exception of a few pronunciation issues; 3, I can speak various words and sentences; 4, I can speak several words and sentences; 5, I can speak a limited number of words (less than 20); Oral reception ability = the understanding level of the person with HI regarding a communication partner's speech as follows: 1, I can understand an unfamiliar person's speech very well at a normal-speed; 2, I can understand an unfamiliar person's speech only if he/she speaks slowly and shows clear articulation; 3, I can only understand the speech of a few acquaintances; N/A = not available; the participant cannot speak and/or read the movements of others' lip.
연구절차
총 25명의 사용성 평가 참가자들이 13명, 7명, 5명으로 구성된 세 집단으로 나누어 총 3회기에 걸쳐 각각 특수학교, 교회, 대학교에서 평가에 참여하였다. 각 회기의 사용성 평가는 다음의 절차에 따라 진행되었다. (1) 음성기술 기반 앱에 대한 오리엔테이션 및 참가자 기본정보 설문조사, (2) 음성기술 기반 앱을 하루에 2시간 이상씩 3일 이상의 기간 동안 사용하도록 요청한 후 중간 사용성 평가 실시, (3) 중간평가 결과를 바탕으로 앱을 수정·보완 한 후 시나리오를 이용한 최종 사용성 평가 실시. 구체적인 평가절차는 다음의 Table 2에 기술되어 있다.
Table 2.
Usability test procedures
사용자 평가 설문지는 선행연구(Kim & Kim, 2016; Lee, 2017; Lee & Hong, 2012, 2015)를 참조하여 청각장애인용 음성기술 기반 의사소통 앱 개발의 타당성, 사용자 인터페이스(UI) 편의성, 학습 용이성, 활용 가능성 등을 5점 척도로 평가하는 항목들과 앱 사용 소감 및 추가되었으면 하는 기능 등을 자유롭게 서술하는 항목으로 구성하였다. 본 사용성 평가에 사용된 시나리오(Appendix 2)와 설문지(Appendix 3)는 부록으로 별첨하였다.
연구결과
청각장애인과 건청인 대화 상대자의 의사소통 지원 기능 조사
기존 청각장애인용 음성기술 기반 대면 의사소통 앱 분석결과
청각장애인의 의사소통을 보조하기 위한 국내외 의사소통 앱 총 14개를 대상으로 음성인식 및 음성합성 기능을 중심으로 분석한 결과, 단문 음성합성 기능, 장문 음성합성기능, 음성인식기능, 자주 사용되는 단어나 문장의 재사용 기능을 모두 제공하고 있는 앱은 없는 것으로 나타났다(Table 3). The deaf and hearing impaired, Note, speak, listen for deaf, Deaf-Hearing Chat-Device H, TTFD, Deaf Assistant 등과 같은 일부 앱들은 장문과 단문 음성합성과 음성인식기능은 모두 지원하고 있지만 자주 사용하는 문장의 재사용 등과 같은 청각장애인 사용자의 편의기능이 부족한 것으로 나타났다. 또한 국외의 앱들은 대부분 영어권에서 개발된 제품이므로 한국어에 대한 지원이 미흡한 실정이다.
Table 3.
An analysis of speech-technology based communication applications
청각장애인의 의사소통 능력별 음성기술 요구사항 조사결과
청각장애인의 의사소통수단을 수화, 구화, 독화, 필담으로 분류한 후, 의사소통능력별 음성기술 요구사항을 조사한 결과, 청각장애인이 건청인과 대화를 할 때에는 음성합성 기술에 대한 요구가 건청인이 청각장애인과 대화를 할 때에는 음성인식 기술에 대한 요 구가 도출되었다.
첫째, 수화만을 사용하는 청각장애인이 수화를 모르는 건청인과 의사소통을 할 때는 필담을 사용하게 되는데, 건청인이 구어가 아닌 필담으로 의사소통을 하는 것에 불편함을 느낄 수 있고 오랜 시간 필담으로 대화를 하면 쉽게 피곤해질 수 있다는 제한점이 있다. 이를 보완하기 위해 청각장애인이 문자로 타이핑한 내용을 음성으로 출력해 주는 음성합성 기능과 건청인의 구어를 문자로 변환해 주는 음성인식 기술이 요구된다.
둘째, 청각장애인이 수화를 사용하고 독화가 가능한 경우, 청각장애인은 필담을 통해 건청인에게 의사표현을 하고 건청인은 구어로 청각장애인에게 의사를 전하게 된다. 이 경우 또한 필담으로 장시간 의사소통하는 것에 대해 건청인이 불편해 할 수 있고 청각장애인이 독화를 할 때 건청인의 입 모양이 불분명하거나 정확하게 볼 수 없는 경우 인식의 오류가 생겨 명확한 의사소통이 어렵게 된다. 이를 보완하기 위해 청각장애인의 문자 타이핑 내용을 음성으로 출력해 주는 음성합성 기능과 건청인의 입모양을 명확히 인식할 수 있도록 발화 인지를 보조해 주는 음성합성 기술이 요구된다.
셋째, 청각장애인과 건청인이 모두 구어로 의사소통을 하는 경우, 청각장애인은 독화를 해야 하므로 장시간 대화에 쉽게 피로해지며, 서로 명확하게 발음을 하지 않으면 상대방의 발화 내용을 정확하게 인식할 수 없다는 제한점이 있다. 그러므로 청각장애인의 불분명한 발화를 보조해 주는 음성합성 기술과 건청인의 발화를 명확하게 인지할 수 있도록 보조해 주는 발화인지 음성인식 기술이 요구된다.
마지막으로, 청각장애인이 구어로 의사표현을 할 수는 있지만 건청인의 구어를 이해하지 못하는 경우, 청각장애인의 불분명한 발음으로 인해 건청인과의 명확한 의사소통에 어려움이 있을 수 있고 건청인의 의사를 이해하기 위해서는 필담을 이용해야 하므로 장시 간 대화 시 피로도가 높고 구어에 익숙한 건청인이 필담을 하는 것에 불편을 느낄 수 있다. 이러한 의사소통의 어려움을 보완하기 위해서는 청각장애인의 발화를 보조해 주는 음성 인식 기술과 건청인의 구어를 문자로 변환해 주는 음성인식 기술이 요구된다. 이상의 결과는 다음의 Table 4에 제시되어 있다.
Table 4.
Speech-technology requirements by communication methods
관련 선행연구 분석
청각장애인이 건청인과 의사소통을 할 때 요구되는 기본적인 의사소통 기능들을 기존의 선행연구(Choi & Hong, 2014; Hong, 2013)를 통하여 조사한 결과, 청각장애인과 건청인의 의사표현을 위한 수단으로 키 패드 입력, 필기 인식을 통하여 문장을 입력하고 이를 보여 주거나(일반 대화) 음성합성으로 건청인에게 들려주는 기능, 건청인의 발화 문장을 음성인식하여 문자로 보여주는 기능, 키 패드나 필기 입력 시 자동완성 기능을 통하여 문장 입력의 편리함을 제공하는 기능(자동완성), 자주 사용하는 단어나 문장을 저장하여 재사용하는 기능(대화 저장 및 즐겨 찾기), 학교에서의 과제 발표나 직장에서의 프로젝트 발표 등과 같이 교육 및 직업현장에서 1분 이상의 긴 연설이 가능하도록 지원하는 긴 문장 음성합성 및 제어 기능(장문 합성), 청각장애인이 자주 마주치게 되는 상황에서의 대화 패턴을 저장하였다가 바로 사용할 수 있는 상황별 대화 문장 등록 기능(상황별 문장 제공), 대화 상황별로 응대할 수 있는 후보 문장 리스트를 지원하여 문장 전체를 입력하지 않더라도 간단한 클릭으로 대화 문장을 선택할 수 있는 예상 대화 목록 기능(문장 예측) 등이 도출되었다
청각장애인 사용자의 언어장애인용 앱 분석
청각장애인 미용사가 건청인 미용실 고객을 대상으로 언어장애인용 의사소통 앱 ‘진소리’를 일상적인 직장 환경에서 사용해 본 결과, 청각장애인이 휴대폰에 타이핑을 해서 음성출력을 하면 건청인은 이를 듣고 다시 동일한 휴대폰을 이용하여 음성인식을 해서 텍스트로 보여주는 방식으로 소통하므로 의사소통이 지연되고 시간이 많이 걸리는 것으로 나타났다. 또한 청각장애인이 음성 출력한 문장만 대화 목록에 저장되므로 더욱 편리한 의사소통을 위해서는 청각장애인뿐 아니라 건청인의 음성인식 텍스트도 대화 목록에 저장되어야 한다는 의견이 제시되었다.
그러므로 청각장애인과 건청인 간의 효율적인 의사소통을 위해서는 두 대화 상대자가 양방향의 대화 내용을 함께 볼 수 있는 화면이 제공되어야 하며, 청각장애인과 건청인과의 대화는 모두 대화 목록에 대화의 형태로 등록되고 관리되어야 한다는 요구가 도출되었다.
음성기술 기반 의사소통 앱 설계 및 구현
대면 의사소통을 위한 음성기술 기반 앱 설계
청각장애인의 의사소통 능력별 친숙하지 않은 건청인과의 대면 의사소통 분석, 선행 연구를 통한 의사소통을 위한 기본 기능, 기존 모바일 앱 조사, 기존 언어장애인용 의사소통 앱에서 청각장애인 사용자 분석을 통하여 Figure 1과 같이 청각장애인을 위한 의사소통 모바일 앱을 설계하였다.
Figure 1의 문자 입력기(key-input management)는 청각장애(deaf) 사용자와 건청(hearing) 사용자에게 공통적으로 단어 예측 기능(단어의 초성, 앞 부분을 입력하면 예측 가능한 완전한 단어를 제시하는 기능)을 지원하며, 자주 사용하는 문장(frequently-used sentences), 즐겨 찾는 문장(bookmarked sentence)에서 의사표현을 위한 문장을 선택할 수 있도록 하여, 의사표현의 속도를 높일 수 있도록 설계하였다. 특히, 상황별 대화 관리기능(situation-based dialog management)을 공통으로 지원하여, 특정 상황에서 필요한 대화를 관리할 수 있도록 하였다. 대화 상황에 따라, 상대의 의사표현 문장에 응대할 수 있는 후보문장 목록을 제공함으로써 문장 전 체를 입력하지 않더라도 간단한 클릭 한 번으로 다음 대화문장을 선택할 수 있는 기능을 지원하였다.
건청인은 음성인식(speech recognition)을 이용하여 음성을 통 한 의사표현 또한 가능하다. 청각장애인이 입력한 문장은 음성합성(text-to-speech)을 통하여 건청인에게 음성으로 전달되며, 동시에 화면에서 문자로 확인할 수 있다.
후보 대화(예상 대화 목록) 지원을 위한 설계
대화는 상대가 표현한 문장에 대하여 응답하는 턴(turn)의 연속이다. 특정한 구어 문장에 대하여 상황에 따라 응답 후보 문장을 제시함으로써 의사소통의 편리함을 촉진할 수 있다. 설계한 모바일 앱의 가장 큰 특징은 상황별 대화 관리 기능을 통하여 예상 대화 목록을 제시하여 특정한 상황에서 의사소통의 속도와 편의를 향상시킨 것이다. Figure 2는 카페에서 이루어질 수 있는 대화를 후보 문장 목록으로 저장한 예를 보이고 있다.
첫 대화 후보 문장(청각장애인)은 ‘안녕하세요?’ 또는 ‘아메리카노 주세요’를 제시하였고, 만일 ‘안녕하세요?’를 선택하면, 상대방(건청인)의 다음 대화 후보 문장으로 ‘네, 안녕하세요’와 ‘주문하시겠어요?’가 제시되며, ‘아메리카노 주세요’를 선택하였다면, 다음 대화 후보 문장으로 ‘사이즈는 보통인가요?’ 등이 제시되는 구조이다.
‘사이즈는 보통인가요?’를 상대가 선택하였다면, 이에 대한 후보 문장은 ‘네, 보통이요’, ‘라지로 주세요’, ‘스몰로 주세요’가 제시된다. 세 번째 후보 문장 중에서 하나를 청각장애인이 선택하면 그에 대한 다음 응답 후보 문장으로 ‘드시고 가실 건가요?’와 ‘한 잔 인가요?’ 등을 제시하는 방법으로 진행하여 대화를 완료하도록 도와준다.
Figure 2와 같이 특정 상황에서 특정 문장에 대한 응답 후보 문장을 제시하는 것은 청각장애인과 건청인 모두에게 키 입력이나 발화의 수고를 덜고 빠르고 편리하게 대화할 수 있는 방법이다. 본 앱에 구현한 후보대화목록은 식당, 쇼핑, 교통, 병원, 공공기관 등에서 유용한 상황에 대하여 미리 구축하였으며, 사용자(청각장애인)가 한번 수행한 대화를 저장하였다가 다시 동일하거나 유사한 상황에서 바로 이용할 수 있는 대화 관리가 가능하도록 구현하였다.
양방향 의사소통 앱 구현
Figure 3은 상황별 대화를 선택하여 대면 의사소통하는 모바일 앱의 인터페이스 화면을 보이고 있다. 본 연구에서 개발된 의사소통 앱의 이름은 ‘도란도란’([부사] 1. 여럿이 나직한 목소리로 서로 정답게 이야기하는 소리, 또는 그 모양)으로 정하였고, Eclipse JUNO 를 개발 도구로 사용하여 Java SDK 1.8.0.20, 안드로이드 API levels 14-19 환경에서 구현되었다.
Figure 3의 (A)는 미리 구축하여 저장되어 있는 상황별 대화 목록을 제시하는 화면이다. (A)에서 ‘카페’를 선택하면 (B)와 같이 청 각장애인이 대화를 시작하는 첫 후보 문장의 목록을 제시한다. (B)에서 ‘아이스 아메리카노 주세요’를 선택하면, 음성합성으로 상대에게 들려 주게 되며, (C)와 같이 상대가 선택할 수 있는 다음 대화 문장 목록을 보여 준다.
음성기술 기반 대면 의사소통 앱 사용성 평가 결과
시나리오 수행 평가결과
총 25명의 성인 청각장애인을 대상으로 본 연구에서 개발한 대면 의사소통 앱의 다양한 기능들을 시나리오에 따라 실행해 보도록 요청한 후 시나리오 수행 수준에 대한 설문조사를 한 결과, Figure 4에 제시된 것처럼 5점 척도(1: 매우 어렵다, 2: 약간 어렵다, 3: 보통이다, 4: 대체로 쉽다, 5: 매우 쉽다)를 기준으로 장문 파일/상황별 대화 문장 사용(M= 4.76, SD = 0.44)이 상대적으로 가장 수행하기 쉬웠으며, 대화 저장을 통한 예상 대화 문장의 사용(M= 4,24, SD = 1.05)도 대체로 수행하기 쉬운 것으로 나타났다. 일반 대화/즐겨 찾기 기능(M= 3.84, SD =1.07)은 상대적으로 가장 수행하기 어려운 것으로 나타났으며 특히 일반 대화보다는 즐겨 찾기에 자주 사용하는 문장을 등록하는 과정을 상대적으로 어려워하였다. 그러나 전반적인 모든 기능들의 수행수준이 5점 척도에서 평균 3.83 이상으로 보통 이상의 수행수준을 나타냈다.
사용성 설문조사 결과
시나리오 평가 후 본 연구에서 개발한 음성기술 기반 대면 의사소통 앱의 개발 목표, 사용자 인터페이스의 사용 편의성, 학습 용이성, 활용성 등에 대한 설문조사를 실행한 결과 5점 척도에서 전체 평균(M) 4.06, 표준편차(SD) 0.13으로 높은 사용성을 보였다. 보다 구체적인 항목별 사용성 평가결과는 다음과 같다.
앱 개발 목표에 대한 사용성 평가결과 Figure 5에 제시된 것처럼 의사소통 앱 개발의 필요성(M= 4.24, SD =1.20), 앱 사용 전과 비교한 청각장애인 의사소통에의 기여도(M= 4.36, SD = 0.91), 전반적인 만족도(M= 4.16, SD = 0.85) 모두 5점 만점에 4점 이상의 높은 사용성을 나타냈다.
사용자 인터페이스 편의성에 대한 사용성 평가결과 Figure 6과 같이 각 기능키들이 기능을 잘 표현하고 있는지에 관한 표현력(M= 3.96, SD =1.14), 기능키들의 색상 구분과 선명도(M=3.92, SD =1.19), 사용자 인터페이스의 화면구성(M= 3.56, SD =1.19) 등이 다른 영역의 평가결과에 비해서는 상대적으로 낮은 점수를 보였으나 전반적으로 평균 이상의 사용자 인터페이스를 갖추고 있는 것으로 나타났다.
학습 용이성에 대한 사용성 평가결과 Figure 7과 같이 청각장애인의 의사표현에 효율적인지를 묻는 의사소통 효율성(M = 4.12, SD = 0.93), 학습의 용이성(M= 4.08, SD =1.19), 친숙하지 않은 건청인과의 의사소통 동기를 유발하는지 여부에 대한 의사소통 동기유발(M= 4.04, SD =1.02)에서 모두 긍정적인 응답을 보였다.
앱의 활용성에 대한 사용성 평가결과 Figure 8과 같이 향후 사회생활에서의 활용가능성(M= 3.76, SD =1.16), 대면 의사소통 앱 사용 전과 비교 시 본인의 의사소통에 기여하는 정도(M=4.12, SD=1.01), 다른 청각장애인에게 추천 여부(M= 4.44, SD =1.04) 등에서 향후 활용성이 대체로 좋은 것으로 나타났다.
사용 소감
본 연구에서 개발된 청각장애인용 음성기술 기반 대면 의사소통 앱을 사용한 소감을 조사한 결과 다양한 의견들이 제시되었는데 기존의 의사소통 방식보다 본 앱이 좋았던 점으로는 건청인 대화 상대자의 입 모양이 가려져서 독화가 안 되는 경우 도움이 많이 되며 필담보다 의사소통 속도가 빠른 점을 제시하였다. 청각장애인들은 건청인 가족(특히 건청인 자녀)과 의사소통을 할 때 본 앱을 유용하게 활용하였으며 사적인 개인 대화를 하는 경우에도 도움이 되었다고 하였다.
수화를 사용하거나 구어를 하지만 발음이 명확하지 않은 사용자들은 일상 생활에서 건청인과의 대면 의사소통에 부담을 느끼기도 했는데 본 앱을 통해 카페나 식당에서 주문 시 마음 편하게 주문할 수 있어서 좋았다고 했으며 직장에서 의사 표현을 할 때에도 발음이 정확하지 않을 때 앱을 통해 정확하게 의사를 전달할 수 있었다고 하였다. 또한 수화로 표현이 어려운 전문용어나 인터넷 신조어 등을 사용할 때에도 유용했다고 하였다.
반면에 사용하면서 아쉬웠던 점으로는 속도, 합성음의 질, 음성인식 환경 등에 대한 의견들이 제시되었다. 속도와 관련된 아쉬운 점으로는 음성출력 속도가 너무 빨라서 대화 상대자가 한 번에 알아듣기 어려운 점, 앱에서 메뉴를 선정하고 음성을 누르고 대화를 시작해야 하므로 음성출력까지의 시간이 오래 걸리는 점을 들었다. 합성음과 관련해서는 산출되는 음성이 너무 기계음 같아서 좀더 자연스러운 음성이 제공되면 좋겠다는 의견이 제기되었다. 음성인식 환경 관련 의견으로는 음성지원이 안 되는 휴대폰에서는 사용이 제한되는 점, 데이터가 안 잡힐 때 음성인식이 안 되고 휴대폰을 입 앞에 바로 대야 인식이 되는 점, 일 대 일이 아닌 여러 명과의 대면 대화상황에서 사용하기 어려운 점, 급박한 상황이나 돌발상황에서의 사용이 제한적이라는 점 등이 제기되었다.
개선 및 요구사항
본 음성기술 기반 대면 의사소통 앱에 대한 개선 및 요구사항들을 사용자 인터페이스, 기능, 합성음, 음성인식/합성 환경 측면에서 살펴보면 다음과 같다. 첫째, 사용자 인터페이스에서 배경화면의 테마 디자인 및 글씨 크기와 글씨체 조절 기능, 긴 문장에서 파일을 추가하는 버튼이 너무 작아서 누르기 어려우므로 버튼 크기 조정, 설정에 숨겨져 있는 파일 버튼이나 음량조절 버튼 등의 기능 키들을 알아 보기 쉽게 화면에 제시, 청각장애인 본인과 건청인 대화 상대자의 대화 창 위치 조정, 건청인과 청각장애인의 대화 창을 사람 이미지로 변경 등과 같은 개선사항들이 도출되었다.
앱의 기능에 있어서는 취소 버튼을 누르면 자동으로 홈으로 돌아가는 기능, 음성인식으로 음성이 문자로 전환되는 동안 시간의 공백을 채워주는 추가 기능, 예상 대화 기능에서 대화 저장기능뿐 아니라 본인이 원하는 대화가 있으면 직접 입력해서 대화하는 기 능, 농아인 중에는 문법이나 문장력이 부족한 사람도 있으므로 상황 별 예상 대화 목록을 사전처럼 최대한 추가, 바로 가기 외에 위젯 기능 추가, 구성 목록을 사용자가 직접 선택할 수 있는 기능, 쉬운 단어로 기능 설명(예: 빈도수 문장, 예상 대화 등) 등에 대한 요구가 있었다. 합성음과 관련해서는 소감에서 제시된 것처럼 자연스러운 합성음에 대한 요구가 도출되었고 음성인식 및 합성 환경과 관련해서는 데이터 수신 및 음성인식이 되는 범위 확장, 대화가 지연되지 않도록 음성인식의 속도 개선, 노래방 자막처럼 음성출력 시 어느 부분이 산출되고 있는지에 대한 시각적 피드백 제공 등의 개선 요구사항들이 도출되었다.
논의 및 결론
본 연구의 목적은 청각장애인과 건청인 대화 상대자가 일상에서 대면 의사소통을 할 때 경험하는 어려움과 요구되는 의사소통 지원기능들을 파악하고, 의사소통 지원기능들을 반영한 청각장애인용 음성기술 기반 대면 의사소통 앱을 개발하여 실제 사용자인 청각장애인을 대상으로 사용성 평가를 실시함으로써 음성기술 기반 대면 의사소통 앱의 타당성, 사용 편의성, 만족도, 활용도 등을 평가하는 것이다.
일상의 대면 의사소통 상황에서 청각장애인과 건청인 대화 상대자의 의사소통 지원기능을 조사하기 위해 기존 청각장애인용 음성기술 기반 대면 의사소통 앱 분석, 청각장애인의 의사소통 능력별 음성기술 요구사항 분석, 관련 선행연구 분석, 청각장애인 사용자의 언어장애인용 앱 분석 등을 실행하였다. 그 결과 단어자동완성, 자주 사용하는 단어/문장의 등록 및 재사용(즐겨 찾기와 빈도수 기능), 연설이나 발표 등을 위한 장문 합성 및 제어(파일 기능), 상황 별 대화 문장 저장 및 등록, 예상 대화문장 제시 기능 등에 대한 지원요구가 도출되었다. 이러한 음성기술 기반의 의사소통 기능요구들을 반영한 대면 의사소통 앱을 개발한 후 총 25명의 청각장애인을 대상으로 시나리오와 설문지를 통한 사용성 평가를 실행하였다. 그 결과 음성기술 기반 대면 의사소통 앱 개발의 타당성, 사용편의성, 만족도, 활용도, 기여도 등에서 5점 만점의 Likert 척도를 기준으로 전체 평균 4점 이상의 긍정적인 평가를 받았다.
수화를 사용하는 청각장애인들은 수화를 알지 못하는 건청인들과 의사소통을 할 때 대면 의사소통보다는 메신저 등의 온라인 의사소통 수단을 활용하는 경우가 많은데, 이러한 온라인 의사소통에서는 상대방의 표정이나 감정을 느끼지 못해 오해가 생기는 경우가 많으며, 급한 일이 있을때 문자로 전달하며 상대방이 바로 확인하지 않을 때도 있어 신속한 의사소통에 어려움을 가지고 있다. 본 연구에서 개발한 앱은 이러한 온라인 의사소통의 제한점을 보완할 수 있고 청각장애인과 건청인 의사소통 상대자 간의 대면 의사소통을 증진할 수 있다는 데 그 의의가 있다.
수화를 사용하고 독화는 하지 못하는 청각장애인들은 수화를 알지 못하는 건청인들과 직접 대면하여 의사소통을 할 때 주로 필담이나 메신저, 카카오톡 등과 같은 문자서비스를 이용하여 문자로 입력한 내용을 건청인에게 보여주는 방식으로 의사소통을 하게 된다. 그러나 장시간 필담을 하거나 키패드에 문자입력을 하다 보면 쉽게 피곤함을 느끼고 시간도 많이 걸려 의사소통이 지연되는 경향이 있다. 또한 단문자 서비스의 경우 글자수에 제한이 있어 긴 문장을 표현하기 어려우며 구어를 일상적으로 사용하는 건청인의 입장에서도 불편함이나 피곤함을 느낄 수 있다. 청각장애인이 수화를 사용하고 독화가 가능한 경우, 일반적으로 청각장애인은 필담이나 문자서비스를 통해 건청인에게 의사를 표현하고 건청인은 구어를 통해 청각장애인에게 의사를 전하게 되는데 이 또한 필담으로 장시간 의사소통 하는 것에 대해 건청인이 불편함을 느낄 수 있고 건청인의 입모양이 정확하지 않거나 입을 볼 수 없는 경우에는 청각장애인이 독화를 하는 데 제약이 있으므로 정확한 의사소통이 어렵게 된다. 본 연구에서 개발된 앱은 청각장애인이 문자로 타이핑한 내용을 음성으로 출력해주는 음성합성 기능과 건청인의 구어를 문자로 변환해주는 음성인식 기능을 모두 지원해주기 때문에 이러한 청각장애인과 건청인의 대면 의사소통 상황에서의 어려움을 해소해 줄 수 있다.
본 연구에서 개발된 음성기술 기반 대면 의사소통 앱의 기대효과는 다음과 같다. 첫째, 본 의사소통 앱은 청각장애인과 건청인과의 의사소통을 증진시킴으로써 청각장애인의 다양한 활동참여를 증진할 수 있을 것이다. 특히 청각장애인이 수화를 모르는 건청인과 대면하여 의사소통을 하는 상황에서 필담보다 신속한 의사소통을 가능하게 하므로 유용하게 활용될 수 있으며, 수화를 할 수 있는 경우라도 최근 신조어(인터넷 신조어)나 전문용어 등과 같이 수화로 정확한 의미전달이 어려운 대화상황에서 활용될 수 있을 것이다. 또한 건청인과의 주요한 의사소통 수단으로 독화를 사용하는 청각장애인이 장시간 건청인과 대화를 할 때에도 정확한 의사소통을 보조할 수 있을 것이다.
둘째, 본 의사소통 앱은 청각장애인의 삶의 질을 증진하는 데 기여할 수 있으리라 기대된다. 청각장애인이 독립적이고 원활한 의사소통을 하게 됨으로써 사회적 상호작용에서 자존감을 높일 수 있고 일상생활이나 사회활동, 취업활동 등에서 보다 적극적이고 능동적인 주체로서 기능하도록 하며, 건청인이 음성합성 및 음성인식을 통해 청각장애인과 대화를 하게 됨에 따라서 수화를 모으면 청 각장애인과 대화하기 어렵고, 협력하기 어렵다는 건청인의 편견을 불식시킬 수 있을 것이다. 이러한 과정을 통해 청각장애인에 대한 건청인의 인식을 전환하고 청각장애인의 교육이나 취업 등의 참여기회를 확대할 수 있으며 궁극적으로는 사회적 통합을 촉진할 수 있을 것이라고 기대한다. 마지막으로, 본 연구에서 개발된 음성기술 기반 의사소통 앱의 개선 및 요구사항을 반영하고 빠르게 진보하는 음성기술을 적용하여, 언어·청각장애인을 위한 다양한 국내 의사소통 도구들의 개발 및 평가가 이루어지기를 기대한다.
PDF Links
PubReader
ePub Link
Full text via DOI
Download Citation 
Supplement
Print 
