한양대 연구팀, 입 움직임 분석 음성 합성

임창환 교수. 사진 제공 한양대

임창환 한양대 바이오메디컬공학과 교수 연구팀이 입 주위에 부착한 가속도계 신호를 분석해 화자의 음성을 합성하는 무음 발화 인식 기술 개발에 성공했다.

무음 발화 인식은 목소리를 내지 않고 입을 움직이는 것만으로 발화 의도를 인식하는 기술로, 발성 장애를 겪는 환자들의 의사소통을 돕기 위해 개발됐다.

기존 무음 발화 인식 기술에는 카메라, 전자기조음측정기(EMA), 초음파, 근전도(EMG) 신호 등이 활용됐다.

그러나 2023년, 임 교수팀이 제안한 가속도계를 이용한 방식이 여러 장점으로 주목받고 있다.

임 교수팀은 입 주위에 부착한 4개의 가속도계 신호를 딥러닝으로 분석해 40개 단어를 95% 이상의 정확도로 분류하는 데 성공했으며, 이는 기존의 6개 근전도 센서를 이용한 방식보다 5% 이상 높은 정확도를 기록했다.

이번 연구에서 임 교수팀은 가속도계 신호만을 이용해 음성을 합성하는 기술을 구현했다.

입 주위 근육의 움직임을 바탕으로 음성을 합성하는 이 기술은 기존의 단어 분류보다 훨씬 난이도가 높다고 평가받는다.

임 교수팀은 성지은 이화여대 교수와 협력해 한국어의 모든 음운을 포함하는 270개의 문장을 제작하고, 19명의 실험 참가자들로부터 음성 신호와 함께 5개의 가속도계 신호를 수집했다.

이 데이터를 기반으로 트랜스포머를 변형한 딥러닝 모델인 컨포머를 학습시켜, 가속도계 신호만으로 음성 신호를 합성하는 데 성공했다.

그 결과 대부분의 합성된 음성이 인식 가능한 수준으로 복원됐다.

서울트리뷴 (c)

#서울트리뷴 #한양대 #ai #음성합성