우리 주변에는 많은 청각장애인들이 있습니다. 한국장애인고용공단 고용개발원에 의하면 2016년까지 청각장애인의 비율이 11.6%로 2번째로 많은 비율을 차지하고 있습니다. 주변에 많은 청각장애인들이 있지만 소통에 어려움이 많이 있습니다. 물론 수화로 소통하거나 청각장애인분들이 보청기와 인공와우로 수술을 하여 소통 할 수 있습니다. 하지만 보청기와 인공와우기기는 높은 가격대를 형성하고 있고 수화는 어려운 접근성을 가지고 있습니다.
그래서 저희는 웹캠을 사용하여 실시간으로 말하는 사람의 옆에 말풍선을 띄워 그 안에 자막을 나타나게 함으로써 청각 장애인분들께서 보청기와 인공와우 수술의 도움 없이 의사소통이 가능하도록 지원하는 일상대화형 프로그램을 개발하고자 합니다.
저희 프로그램은 opencv 와 dlib를 사용하여 웹캠에서 보이는 사람들의 얼굴과 입술을 인식합니다. 또한 Google Cloud Platform의 Speech to text API를 사용하여 마이크로 통해 들어오는 음성을 텍스트화하여 인식된 얼굴 옆에 말풍선을 사용해 띄워줍니다. 이 때 인식된 얼굴들 중에 누가 말했는지 알기위해 입술의 변화를 이용하여 인식하였습니다.
번호 | 제목 | 분야 | 조회수 | 작성 |
---|---|---|---|---|
256 | [2019 학생부문 / 조직위원장 특별상] ALLPRE | 1158 | 2019-12-11 | |
255 | [2018 일반부문 / 후원기업상_리원에이스상] 드론을 이용한 영상처리 기반의 방범시스템 구축 | 1298 | 2019-08-19 | |
254 | [2018 일반부문 / 후원기업상_엘에스웨어상] PlaynView-DistinctWordFinder | 1264 | 2019-08-19 | |
253 | [2018 일반부문 / 후원기업상_유엔진솔루션즈상] BigB | 1197 | 2019-08-19 | |
252 | [2018 학생부문 / 후원기업상_알티베이스상] StopBus(비콘을 활용한 위치기반 버스 승하차 예약 서비스) | 1515 | 2019-08-19 | |
251 | [2018 학생부문 / 후원기업상_BDSK상] 원체인 : 오픈소스 블록체인 코어 | 1229 | 2019-08-19 | |
250 | [2018 학생부문 / 후원기업상_kt ds상] HeVote | 1311 | 2019-08-19 | |
249 | [2018 학생부문 / 후원기업상_큐브리드상] 청각 장애인을 위한 얼굴인식기반의 일상대화지원형 Application | 1379 | 2019-08-19 | |
248 | [2018 일반부문 / 동상] 인공지능 이미지 인식을 사용한 특허 검색 모바일 서비스 | 1430 | 2019-08-19 | |
247 | [2018 일반부문 / 동상] 옥토퍼스 | 1306 | 2019-08-19 |
0개 댓글