청각 장애인을 위한 얼굴인식기반의 일상대화지원형 Application
splug
학생
opencv 와 dlib를 사용하여 웹캠에서 보이는 사람들의 얼굴과 입술을 인식하며, 음성을 텍스트화하여 인식된 얼굴 옆에 말풍선을 사용해 띄워주는 일상대화지원형 Application
* 시연동영상 : https://youtu.be/DjnEKcIg3a8
후원기업상_큐브리드상
2018 년
기타

우리 주변에는 많은 청각장애인들이 있습니다. 한국장애인고용공단 고용개발원에 의하면 2016년까지 청각장애인의 비율이 11.6%로 2번째로 많은 비율을 차지하고 있습니다. 주변에 많은 청각장애인들이 있지만 소통에 어려움이 많이 있습니다. 물론 수화로 소통하거나 청각장애인분들이 보청기와 인공와우로 수술을 하여 소통 할 수 있습니다. 하지만 보청기와 인공와우기기는 높은 가격대를 형성하고 있고 수화는 어려운 접근성을 가지고 있습니다.

 

그래서 저희는 웹캠을 사용하여 실시간으로 말하는 사람의 옆에 말풍선을 띄워 그 안에 자막을 나타나게 함으로써 청각 장애인분들께서 보청기와 인공와우 수술의 도움 없이 의사소통이 가능하도록 지원하는 일상대화형 프로그램을 개발하고자 합니다.

 

저희 프로그램은 opencv 와 dlib를 사용하여 웹캠에서 보이는 사람들의 얼굴과 입술을 인식합니다. 또한 Google Cloud Platform의 Speech to text API를 사용하여 마이크로 통해 들어오는 음성을 텍스트화하여 인식된 얼굴 옆에 말풍선을 사용해 띄워줍니다. 이 때 인식된 얼굴들 중에 누가 말했는지 알기위해 입술의 변화를 이용하여 인식하였습니다. 

맨 위로
맨 위로