当听障者“听见”夺冠声

智慧

楼主 智慧说：
主笔：叉叉
编辑：小包、kitty
1.2万平米的椭圆形冰面，选手们需要克服向心力，以最高50km/h的速度冲刺。
速滑团体赛最后一圈，解说员提升了语速和声量，和比赛现场的解说、呐喊混在一起，让观看直播的人也热血沸腾。
在终点前的最后一个弯道处，身穿蓝色赛服选手迅速缩小了与身穿红色赛服选手的距离，直播画面紧接着切到终点正面镜头，两人好像同时抵达，但下一秒，通过红色赛服选手振臂高呼的姿势，刘洋知道，是武大靖率先冲过了终点--他们拿下了中国代表团首枚金牌。
尽管佩戴了助听器，刘洋还是下意识的通过双眼观看这场比赛。
“蟹步，弯弓射雕，独步江湖，无人超越，好看优雅，永不过时，这就是我喜欢花滑的原因。”刘洋通过文字回复了“腾讯产业互联网”的线上采访。他是一名听障者，今年32岁，为了重拾说话能力，不久前再次戴上了助听器。在这届冰雪盛事中，刘洋最关注速度滑冰和花样滑冰。刘洋最喜欢的运动员是前速滑女子选手王濛，“因为她总是背着手，一马当先冲在前头。”
电视解说语速太快，刘洋无法听全，加上直播没有字幕，一些现场信息，例如犯规动作，很难当即知晓。热爱体育运动的他，这些年看的赛事有太多“残缺”。
情况在今年有些不同。比赛直播结束后，在央视频APP上，一位“女主播”紧接着上岗，刘洋和中国2700万听障人士，都可以通过她看到更“完整”的冰雪赛事。
她是一位AI 3D手语数智人，名叫“聆语”。
难懂的手语
手语，是听障人士交流的一种庞大复杂的语言体系。以手示意，加上唇形和表情，如同仓颉造字一般，通过一代代听障人的演绎和加工，形成了“自然手语”，广为流传。类似汉语中的“方言”，自然手语虽各地有所不同，但却是听障群体使用最广泛的手语类型，比单纯的文字覆盖更广。
当电视进入寻常百姓家后，手语迎来一个新的发展阶段，一个手语演示的浮窗，在越来越多的新闻节目中出现而被大众熟知。早在1989年，北京电视台就推出《新闻手语》栏目，听障者拥有了“观看”新闻节目的机会。
新闻手语 电视栏目
尽管电视手语主播已经诞生了几十年，数据显示，绝大多数听障人士只能理解不到60%的，经手语转译的新闻内容。
原因有很多。
曾经的新闻手语大多使用文法手语，由中国聋人协会在2003年推出的《中国手语》而来，意在规范和统一全国手语。《中国手语》由健听人士编撰，其“文法手语”和听障人士常用的“自然手语”有很大不同，例如“猫追老鼠”，文法手语和汉语语序一致，自然手语却是“猫老鼠追”。
还有一个客观原因是，比划手语是一门脑力和体力并重的活，如果你看过朱广权和手语老师的爱恨情仇，那应该深有体会。往往节目后半程，手语老师演示效率降低，信息传达的精准性有所下降。
2018年，国家发布新的标准手语--《国家通用手语常用词表》，由于最大程度吸收了地方自然手语的习惯手势，即使没有系统学习这套教材，大多数熟悉手语的听障人士也能看懂。
文法手语（左）与通用手语（右）对比，通用手语更生动形象，符合听障者使用习惯
2021年10月，广电总局在《广播电视和网络视听“十四五”科技发展规划》中指出，要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目。新技术推动下，各类“虚拟人”层出不穷，其中一些已胜任多种角色。
“但许多新闻资讯、文娱节目中仍缺少手语翻译，同时翻译可懂度不高，这为听障人士理解社会带来的很大阻碍，但是改变正在发生。”腾讯云小微数智人产品团队，很早就注意到听障人士观看电视节目的痛点，本着改善听障人信息获取方式的目的，腾讯云小微团队联合腾讯PCG AI技术团队，整合多模态交互、3D数字人建模、机器翻译、语音识别和自然语言理解等技术，共同打造AI手语数智人。
此外，“手语数智人深度学习了《国家通用手语词典》，并且经由制定手语标准的专家、手语教师、使用手语的听障人士等三类人的指导和训练，手语可懂率可以达到85%。”
在技术和专业人士的共同努力下，腾讯的手语数智人产品日趋成熟。当去年底央视频提出合作意向--为2022年初的这届冰雪赛事打造一位AI手语解说--的时候，腾讯云小微数智人团队毅然应许，即使当时距离这场盛会开幕，已经不足2个月时间。
“像雪橇一样冲刺”
雪橇是冰雪赛事中时速最快的项目，对于团队来说，“聆语”的打造过程就像是坐上了一台雪橇，飞速前行，一刻不停。“经过一段时间的技术联调，在距离春节不到两周的时候，我们才最终确定分工，启动执行。”腾讯云小微数智人团队负责人说。
抛开被压缩的时间，由于体育赛事的AI手语解说和以往单纯的新闻解说有很大不同，这给项目带来了新的挑战。
第一个问题是关于词汇的扩充，除了要精通《国家通用手语词典》里8867条手语词汇，“聆语”还需要对冰雪赛事的专业词汇如数家珍。“比如‘鸟巢'这一类词汇，需要去约定和定义，才能达到听障人士的可懂度。”
“聆语”智能迭代了超过15000多个相关专业词汇后，具备专业解说水准。
此外，流行于网络的“热词”和“热梗”，例如苏翊鸣又叫小栓子，对“聆语”也是一个挑战。“通过互联网大数据能力，我们可以做到词库热词的快速更新。”这让“聆语”有了“抓热点”的能力。目前，“聆语”掌握的词汇和语句达到160万，行业领先。
而在手语视频的生成过程中，也有很多技术门槛。
“聆语”的翻译逻辑，先将电视主持人的解说转化为文本，再将文本转化为手语动作，继而合成完整的手语视频。
而体育赛事直播的音道是混合立体声，混合了电视解说、现场解说、现场观众和运动员的各种声音，“聆语”首先要从中识别并抽取出电视解说的独立音道。
还有内容的同步问题。“要保证电视画面和手语翻译同步，就需要做文本内容的删减，又不影响核心信息表达。”腾讯云小微数智人团队负责人说。
这要求“聆语”能够“随机应变”，在短时间内完成更大的挑战，团队成员仿佛也在参加一项竞速比赛，抢在圣火点燃之前，率先到达终点。
2月5日，中国队首场冲金战，“聆语”准备就绪。一头短发，着一身蓝装，在3D光照扫描还原、面部肌肉驱动、表情肢体手势等技术驱动下，发肤几近真人。此前，央视曾推出过数字虚拟人小编，但在这样大型的体育赛事中启用手语数智人解说，还属首次，尽管“演习”了无数次，团队悬着的心并未落下。
“聆语”用手语表达“金牌”
随后，电视视频经过一系列的信号转化，在二进制的代码驱动下，“聆语”灵活地舞动双手，辅以对应的唇形，2分37秒348，232个手语动作，完整地演示了中国代表团首金的产生过程。这位新晋的央视频解说员顺利、流畅地完成了首秀。
仿佛雪橇滑入缓冲区，团队舒了一口气。
“我第一眼看到还挺惊喜的。”这是刘洋第一次看到AI手语解说，当“聆语”的手语动作和现场画面一一契合，他也感到新奇。
随后，“聆语”解说了几场中国队夺金比赛的精彩过程，而且其手语的可懂度已经超过90%。
科技的微火
“我们日常生活有障碍，但是热爱运动的心无障碍。”46岁的听障人士吕昀热爱冰雪运动，尤其关注冰壶、冰球、自由式滑雪、短道速滑。像吕昀、刘洋这样热爱运动的听障者有很多，听力问题并没有对他们参与运动造成太大的影响。
刘洋和他的听障伙伴有一个微信群，群里有很多朋友也关注这场冰雪盛事，因为热爱体育运动，他之前常在微信群里轮流扮演“解说员”，通过文字“转播”赛事。本次赛事，刘洋习惯将“聆语”解说的赛事视频分享到群里，让群里的朋友们也享受科技带来的便利。
从“同一个世界，同一个梦想”到“一起向未来”，体育推动着“世界大同”，不同地域人群的连接更紧密，残障人士和普通人之间的距离，在科技的助力下，也被拉近。
“聆语”这样的手语数智人，还肩负另一个重要任务--推广通用手语。
相比于文法手语的一板一眼，通用手语动作更加形象生动，可以消除各个“大散居、小聚居”的地方手语之间的隔阂，也利于听障人士更好地融入社会。像“聆语”这样的数智人，可以推动通用手语更好地普及，一改此前仅靠人为推广的局限。“手语数智人未来还可以应用到更多场景，帮助更多的听障者。”央视频“聆语”项目负责人提到。
对于数字人的探索仍在继续，腾讯参与制定的数字人国际标准即将出台，在数字人应用方面为行业制定了明确的方向，例如首次明确了数字人（“digital human”）的定义，提出了数字人应用系统的参考框架，这也将进一步推进手语数字人的应用落地，惠及更多听障人士。
本帖来自爱盲客户端