AI本质也是复读机?阿里和浙大联合推出读唇模型,中英双语实时复述


人工智能如何学会读唇?
机器读唇很困难,因为它需要从视频中提取时空特征(位置和运动都很重要)。现大多数机器学习系统只能进行单词分类,而不进行句子级的序列预测。


论文链接:
句子越长,读得越准确
LIBS的研究团队发现,模型在使用过短句子(如LRS2数据集)进行预训练时得到的结果不大理想,因为解码器从少于14个字母的句子中提取有效信息的难度较大。

读唇AI将成为人类的“复读机”
近年来,随着深度学习的发展和训练大数据的可用性,人工智能系统学习读唇取得了前所未有的进步,表现也有了很大的提高。

相关报道:
IEEE Spectrum
《科技纵览》
官方微信公众平台
往期推荐

