3D交互式手套,研究者的初衷是帮助失去语言能力的人“说话”。它让传统意义上不能讲话的人发出声音,但又不同于手语,因为使用者不必特意去学习手势的含义”。随着研究的深入,他们为它赋予音乐才能,“让人们用手势唱歌”。【IT商业新闻网综合报道】(记者 吴泽)一段视频:一名研究人员戴上特制手套,一会儿把手指相对或张开,一会儿挥动手臂,随着手势变化,与电脑相连的扬声器中传出高低起伏的不同声音。另一段视频中,一名戴着手套的女歌唱家边演唱边做手势,于是,清唱演变成一段配乐演唱。
这是加拿大不列颠哥伦比亚大学的电子和计算机工程教授悉尼·费尔斯最新研究成果:3D交互式手套,使用者只要戴上它做出各种手势就可以合成为乐曲或一段话。
有研究称,手势不仅由骨骼肌肉驱动,而且受人的信念、意识的驱使,是涉及人的思维活动的高级行为。在虚拟现实系统中,手是用户模型中十分重要的动作与感知关系模型,而手势则是3D交互任务和技术的手段。
3D手套
在上述表演中,使用者的手套上有3D位置传感器,可以追踪手势信号,然后传至电脑。根据设计好的程序,两只手的不同手势代表不同声音片段。比如,右手握紧代表辅音、张开代表元音、左手控制音节的长短、右手抬起时代表高声调、处于水平位置时是平声调。
据悉,费尔斯先前开发出“手套交谈”系统,采用神经网络将用户手势转换成手势语言参数,通过语言合成器合成为语言输出。他们研究初衷的是帮助失去语言能力的人“说话”。它让传统意义上不能讲话的人发出声音,但又不同于手语,因为使用者不必特意去学习手势的含义”。随着研究的深入,他们为它赋予音乐才能,“让人们用手势唱歌”。
不过,这项技术现阶段还存在不足,比如,说出带有情感色彩的词时,它的声音还不够拟人,而是像机器人讲话。此外,学习如何操作需要大约100小时。 来源:IT商业新闻网 作者:吴泽