공개SW
사업
청각 장애인을 위한 얼굴인식기반의 일상대화지원형 Application
splug
학생
opencv 와 dlib를 사용하여 웹캠에서 보이는 사람들의 얼굴과 입술을 인식하며, 음성을 텍스트화하여 인식된 얼굴 옆에 말풍선을 사용해 띄워주는 일상대화지원형 Application
* 시연동영상 : https://youtu.be/DjnEKcIg3a8
* 시연동영상 : https://youtu.be/DjnEKcIg3a8
후원기업상_큐브리드상
우리 주변에는 많은 청각장애인들이 있습니다. 한국장애인고용공단 고용개발원에 의하면 2016년까지 청각장애인의 비율이 11.6%로 2번째로 많은 비율을 차지하고 있습니다. 주변에 많은 청각장애인들이 있지만 소통에 어려움이 많이 있습니다. 물론 수화로 소통하거나 청각장애인분들이 보청기와 인공와우로 수술을 하여 소통 할 수 있습니다. 하지만 보청기와 인공와우기기는 높은 가격대를 형성하고 있고 수화는 어려운 접근성을 가지고 있습니다.
그래서 저희는 웹캠을 사용하여 실시간으로 말하는 사람의 옆에 말풍선을 띄워 그 안에 자막을 나타나게 함으로써 청각 장애인분들께서 보청기와 인공와우 수술의 도움 없이 의사소통이 가능하도록 지원하는 일상대화형 프로그램을 개발하고자 합니다.
저희 프로그램은 opencv 와 dlib를 사용하여 웹캠에서 보이는 사람들의 얼굴과 입술을 인식합니다. 또한 Google Cloud Platform의 Speech to text API를 사용하여 마이크로 통해 들어오는 음성을 텍스트화하여 인식된 얼굴 옆에 말풍선을 사용해 띄워줍니다. 이 때 인식된 얼굴들 중에 누가 말했는지 알기위해 입술의 변화를 이용하여 인식하였습니다.
| 번호 | 제목 | 분야 | 조회수 | 작성 |
|---|---|---|---|---|
| 256 | [2019 학생부문 / 조직위원장 특별상] ALLPRE | 인공지능(AI) | 1135 | 2019-12-11 |
| 255 | [2018 일반부문 / 후원기업상_리원에이스상] 드론을 이용한 영상처리 기반의 방범시스템 구축 | 사물인터넷 | 1274 | 2019-08-19 |
| 254 | [2018 일반부문 / 후원기업상_엘에스웨어상] PlaynView-DistinctWordFinder | 인공지능(AI) | 1243 | 2019-08-19 |
| 253 | [2018 일반부문 / 후원기업상_유엔진솔루션즈상] BigB | 보안 | 1178 | 2019-08-19 |
| 252 | [2018 학생부문 / 후원기업상_알티베이스상] StopBus(비콘을 활용한 위치기반 버스 승하차 예약 서비스) | 모바일 | 1497 | 2019-08-19 |
| 251 | [2018 학생부문 / 후원기업상_BDSK상] 원체인 : 오픈소스 블록체인 코어 | 블록체인 | 1210 | 2019-08-19 |
| 250 | [2018 학생부문 / 후원기업상_kt ds상] HeVote | 블록체인 | 1293 | 2019-08-19 |
| 249 | [2018 학생부문 / 후원기업상_큐브리드상] 청각 장애인을 위한 얼굴인식기반의 일상대화지원형 Application | 기타 | 1364 | 2019-08-19 |
| 248 | [2018 일반부문 / 동상] 인공지능 이미지 인식을 사용한 특허 검색 모바일 서비스 | 모바일 | 1411 | 2019-08-19 |
| 247 | [2018 일반부문 / 동상] 옥토퍼스 | 빅데이터 | 1280 | 2019-08-19 |
0개 댓글