本报讯 当你说话时,你的身体会随之移动,无论是眼睛睁大这样的细微举动,还是挥舞手臂这一类大幅度动作。日前,研究人员已经设计出一种人工智能程序,它可以完全基于你的声音了解你将如何移动。
研究人员收集了10个人总长144个小时的视频,其中包括一位修女、一位化学老师和五位电视节目主持人。他们使用现有的算法生成演讲者手臂和手位置的骨架图。然后,他们利用数据训练自己的算法,这样人工智能就可以根据演讲者最新的音频预测其手势。
已生成的手势比随机选择的同一演讲者的手势更接近现实。日前,研究人员在计算机视觉与模式识别会议上发表报告称,演讲者的手势也很独特。用一个人进行训练并预测另一个人的手势并不奏效。将预测的手势输入到已存在的图像生成算法中,可以生成半真实的视频。
研究小组下一步计划不仅基于音频预测手势,还将根据文字记录来预测手势。潜在应用包括创建动画角色、自动导航机器人,或者根据人的运动特征识别假视频。(谷双双)
《中国科学报》 (2019-06-25 第2版 国际)