4年间帮助343名听障人士开口说话 一群大学生用AI赋能,让爱发声
发稿时间:2025-08-20 09:45:00 来源: 中国青年报
“妈妈……漂亮……穿裙子……”
7月21日,湖北省咸宁市艺萌听力语言康复中心内,一群佩戴助听设备的小朋友围坐在电脑屏幕前,跟随华中科技大学大一学生齐艺阳的引导,借助AI唇语辅助训练系统,通过模仿基础音素和简单汉字的口型,进行发声训练。
一旁,柏一茗陪伴大家“玩”起AI绘图工具,鼓励他们与AI智能体对话。一个小朋友攥紧衣角,咿呀学语,最终一步步勾勒出“穿裙子”的“漂亮妈妈”模样。
齐艺阳与柏一茗来自华中科技大学“金蝉子”公益助聋团队。团队由该校新闻与信息传播学院、人工智能与自动化学院、未来技术学院等的师生共同组成。成立4年来,团队发挥“文工交叉”的专业优势,通过“AI唇语辅助训练系统+人工公益教学”的志愿服务模式,帮助听障人士开口说话,传递心声。
近日,2024年度全国志愿服务“四个100”先进典型名单发布,由共青团中央推荐的“金蝉子”团队“AI助聋,让爱发声”志愿服务项目获评“最佳志愿服务项目”。
团队取名“金蝉子”,寄予美好期许。“蝉鸣悦耳,我们希望用科技和公益的双重力量,弥补他们听觉上的缺憾。”团队创始人之一、华中科技大学新闻与信息传播学院副教授王然说。
2021年,王然和学生在调研中发现,多数听障者发声器官完好,却因缺乏听觉反馈陷入“能发声,但不敢说、不会说”的困境。而“感动中国2021年度人物”江梦南自学唇语考大学的经历证明:视觉可替代听觉,成为语言学习的“另一双耳朵”。
受此启发,王然联系同校人工智能与自动化学院教授肖阳,在全校招募多学科背景的学生,开启基于人工智能的唇语辅助训练系统的研发探索。团队希望借助AI技术让声音能“被看见”,让听障者便捷学习唇语,重拾发声信心。
研发过程中,团队收集了数万条面部视频数据,通过语音识别和人工标注对这些数据进行清洗,再利用算法精准定位并裁剪出说话人不同状态下的唇动细节。
“唇部动作幅度小且个体差异大,这使得精准识别极具挑战性。”王然坦言。当听障用户练习发声时,系统会完整记录下他们的唇部动作,从中提取唇形变化的细节特征,随后将量化后的结果与标准唇形特征库进行模拟比对、打分,让用户可以即时获知发声口型正误。
技术研发之外,王然在团队成立之初便将其定位为“公益性质的科创团队”。团队一边教授系统的使用方法,一边在一对一线下教学中,通过让听障人士触摸声带振动、感受气息流动、观察唇形变化等,使发声学习更加直观和有效。
家住云南省昭通市彝良县新场乡的小磊(化名)、小亮(化名)兄弟先天性耳聋。父母在外务工,兄弟俩跟着爷爷生活,一家人交流只能靠手势比划。
2024年,“金蝉子”团队的3名志愿者带着自主研发的AI唇语辅助训练系统,走进了他们的家。
从最基础的音素开始,借助系统视频演示和志愿者面对面教学,从未接触过系统口语训练的兄弟俩学得很快。一个下午的时间,他们从几乎无法发音到清晰地喊出“爸-爸-妈-妈”——隔着手机屏幕,这声迟到多年的呼唤,让两兄弟远在异乡的父母泪如雨下。
“天呐!我孙子开口说话了!”目睹这突然的转变,一旁的爷爷也红了眼眶。他握住志愿者谭琦的手,连声道谢。
团队持续通过线上线下教兄弟俩科学发声,其中哥哥小磊语言能力提升明显,将赴昆明继续学业。
截至目前,团队成功帮助343名听障人士实现了开口说话的梦想。
4年来,“金蝉子”团队走过北京、武汉、长沙、临沧等地,在50多个社区、20多所聋校开展公益教学,累计服务时间超4万小时,惠及3240余人次。经数据对比,在志愿者教学与智能系统协同配合下,听障人士唇语学习效率提升了3倍。
湖北省聋儿康复中心,是团队的常驻服务点之一。
每周四下午,团队播音与主持艺术专业的志愿者都会来到这里,教授发声技巧。在2025年迎新年活动中,5名听障儿童走上舞台,朗诵诗歌《彩色的中国》。小朋友口齿清晰、话语流利,除了挂在耳侧的助听器以外,和普通的小朋友说话几乎没有区别。
“理工科背景的学生攻关AI唇语系统的研发迭代,播音与主持艺术专业的学生借助自己所学,教授听障人士专业、准确的发声技巧,优势互补。”团队指导老师、新闻与信息传播学院副教授龚超介绍。
为了进一步提升与听障者的沟通效率,“金蝉子”团队走进武汉市洪山区手语园,学习手语知识,同时开展唇语科普。
在武汉市第二聋哑学校退休高级教师、志愿者潘淑文的组织下,听障人士、“金蝉子”团队成员和多所高校手语协会的志愿者常常围成一圈,逐词学习如何用手语组成连贯的句子,并相互练习、交流。
“他们教手语,我们教唇语,彼此学习。”“金蝉子”团队公益组负责人、新闻与信息传播学院2022级本科生包宇静回忆道,“同学们还常带上相机,发挥摄影专业特长为大家拍照,这些照片非常受欢迎。”
线上,“金蝉子”团队搭建起助聋科普全媒体矩阵,在微信、抖音等社交媒体平台发布上百篇原创推文、视频,解答咨询500余次。从无障碍设施使用、求职技巧到科学饮食,这些源于生活的科普主题,对应听障群体的实际所需,只为提供更精准、更多维的贴心服务。
“在制作科普内容的过程中,我们的专业技能也得到了锻炼。”包宇静坦言,“这是一个双向奔赴与成长的过程。”团队技术组成员余易昕也有自己的收获:“对待残障人士实现了从‘同情心’到‘同理心’的转变,在交流中我发现,他们更需要的是平等的对待以及落到实处的关怀。”
今年7月初,作为全球160个案例之一,华中科技大学“金蝉子”公益助聋团队的研究与实践入选联合国国际电信联盟“AI for Good创新影响力”年度案例集。
在王然看来,团队“只是完成了从0到1的工作,之后还有很长的路要走”。目前,团队正持续优化系统的适残化设计,同时由志愿者组成的实践分队正利用暑假深入基层,致力于将服务推广至更多资源匮乏地区,让更多听障群体能够自主掌握发音与说话技能。
学会说话并非终点。“金蝉子”团队的终极愿景是让听障人士突破沟通壁垒,像健听人一样自如交流、融入社会,真正实现“残健融合”。
“正确地做事,做正确的事。带着同学们这一辈子能够做成这一件事情,心里就觉得值了。”王然和肖阳有同样的心愿。
田娣萌 张望 中青报·中青网记者 朱娟娟 雷宇