搜索高级搜索
机器人网互动社区技术讨论专区机器视觉Kinect的未来由机器学习决定
机器视觉使机器人具有视觉感知功能的系统,是机器人系统组成的重要部分之一。
大家在做什么
发表新主题  收藏 打印 推荐 
作者 问题:

Kinect的未来由机器学习决定

发布时间: 2014-10-21 下午1:59

作者: 无线GBIT通信

等级: 学有小成

积分: 531 分

发帖数: 101 次

网站总积分: 531 分

经验值: 23.0

查看用户的所有发言

查看用户的个人主页

僵尸也许不再可怕,因为我们的孩子也可以用自己的想象力来创造僵尸。通过使用第二代 Kinect for Windows 摄像头和一款一名 YAKiT 的应用程序,孩子就可以进入僵尸的角色,用自己的肢体动作来扮演僵尸。跟许多 Kinect 的应用程序一样,它们的用户界面都很友好,小孩子即使没有知道也可以顺利地使用。他们只需要站在电视机前,假装自己是僵尸,应用程序和 Kinect 摄像头就会检测到他们,他们的动作将还原到屏幕上,还可以发出诡异的僵尸笑声。

本文为微软公司官方新闻稿件。


虽然说最新版的 Kinect 摄像头在去年 Xbox One 发布之后就有了,但是第二代 Kinect for Windows 摄像头最近才开始向开发者出售。这些摄像头都是在一系列共享的数据上开发出来的。

YAKiT 应用程序的开发公司,美国 Freak’n Genius 公司在第二代 Kinect for Windows 正式上市之前就通过开发者预览计划用上了它。这家公司的创始人 Kyle Kesterson 说:“说实话,Kinect 摄像头就像有魔法一样。我们只需要把人放在摄像头前,它就自动开始工作,不需要做任何事情。”

其实,魔法的背后是连续多年的机器学习成果。在这些应用程序和软件走进用户的客厅之前,研发人员夜以继日地将收集到的语音、肢体动作、面部表情等数据让机器进行学习,然后进行测试和分析。

Kinect 伙伴团队项目经理 Scott Evans 说:“为 Xbox One 附上 Kinect,使其为用户提供图像和声音处理能力只是自然用户界面(NUI)进化旅程的一部分。”自然用户界面打破了任何机器之间的障碍,人和机器的对话现在就像任何人的对话一样,即便没有语言也能通过肢体来表情达意。

Kinect 必须与人在自然的环境中工作。好在这台设备学习的很快,这还得感谢日以继夜将它设计的更好的人们。现在已经有超过 300 名 Kinect For Windows 的开发者获取并使用着 200 多万帧的从微软员工家庭中获得动作捕捉、室内体验视频数据。

机器学习:让软件自己会动

微软的自然用户界面团队,有一群人致力于从各个团队手机人们如何行动、表达自己的信息。

Evans 说:“我们最先设计了硬件,为客厅带去了最好的摄像头和麦克风。之后我们开始开发软件,也就是将原始信号转换成机器可以理解的数据的那个软件大脑,让机器更好地认识房间和人。”

在 Xbox One 发布之时,Kinect 就已经具备了识别动作、物体的能力。但是为了改善 Kinect 的软件,微软需要查看人们真实使用时的自然环境,然后将这些数据与 Kinect 的数据进行人工对比。随后数据会融入到系统中,软件的算法会找到 Kinect 在识别方面的弱项,然后设计人员便知道可以从哪里下手。

为 Kinect 收集数据就意味着将志愿者带到微软公司来,为他们提供场景,或者是让志愿者拜访微软员工的家,通过 Kinect 摄像头捕捉他们在自然场景下的动作(这样做可以获得不同年龄、性别、语言和种族人的数据)。


Kinect 的红外线摄像机录制下志愿者被要求做的动作以备后期处理。

一天三家,这是微软互动调查服务团队去拜访微软总部附近 25 公里内员工家的频率。这一数据采集从 2012 年 10 月开始,也就是说,到现在为止,这一团队已经去了 1000 多户员工的家,要求员工在 Kinect 摄像头前完成一系列指定动作,提高 Kinect 摄像头在面部识别、颜色校准、表情、手柄控制、肢体动作、对话、声音和个体识别等等方面的性能。

目前这一团队仍旧在收集此类数据,Darrell Mitchell 和 Brandon Broady 两人从事拜访活动。Mitchell 会带一台 Xbox One 去员工家里,然后开启录像功能,而 Broady 则在一旁给被试者提示,让其摆出一系列动作,角色有点像是健身教练。这些动作都会被 Kinect 的红外线摄像头捕捉并被记录下来,因为红外线摄像头在黑暗的环境下也可以生成 3D 图形。


回到微软公司之后,在一间名为“Holodeck(全系面板)”的房间内,微软资深程序经理 Rainer Schiller 用大概 20 帧静止的画面便开始构建 3D 面部。这样做可以帮助 Kinect 识别不同类型的面部,用来创建游戏内的用户玩偶。

在微软总部的另外一个大楼里,用户调查组领导 Anatole Chen 与穿着正装的 Alexander Clark 用 24 个 400 万像素的红外线摄像头记录下几千个不同的动作和姿态(比如打棒球、打高尔夫)。这些数据最后会合成,然后用来帮助 Kinect 更精确地识别用户的动作。这里的数据之后还会跟从用户家里采集到的数据进行对比。


真实情景

这所有的数据的目的只是想来搭建一个真实的情景。过程虽然很繁琐,但却是必不可少的,它包含了描绘人体骨骼结构,将人体绘制成具备 25 个点的虚拟形象,每一帧都会根据人的动作而改变。数据被绘制成 3D 图形之后会进入机器学习阶段。Kinect 看到一个人之后,需要准确地知道哪里是手、哪里是胳膊、哪里是脚,以及身体的其他位置。

这个过程也有很多麻烦,可能会出现沙发阻挡、动作慵懒、宠物乱入、哭闹的孩子等,Kinect 必须区分,自始至终究竟是谁站在它面前在使用这台设备。

在 Xbox One 发布之时,Kinect 已经吸收了 100 万帧图像数据。而使用 Kinect 开发应用程序和软件的开发者对于这件事一无所知。

Refexion Health 公司总裁 Spencer Hutchins 说:“Kinect 就是这种背后很复杂解决方案很简单的产品。”Hutchins 的公司使用 Kinect 开发出了一款名为 Vera 的应用程序,它可以让病人在家中使用第二代 Kinect for Windows 进行复健。当 Kinect 连接电脑之后,它会为企业和开发者提供创造能对动作、肢体和声音指令做出反应的互动应用程序所需的东西。

Hutchins 还说:“Kinect 系统检测、追踪个人动作的能力对于物理复健师来说太有用了,医生可以知道病人的康复情况,还可以远程指导病人进行恰当的锻炼。”


通过挑战

在微软,Vince Ortado 的团队每小时会处理 18 万份视频资料,通过机器学习算法让 Kinect 软件的性能不断提高。有超过 300 名 Xbox 游戏开发者全天候、分组对数据进行测试,小到手部动作,大到用户身份识别。

因为开发者只有拿到了设备之后才能进行测试,所以要尽快完成这些视频的处理。开发者的进度非常快,在 Xbox One 发布之后很短的时间内,他们在用户体验提升方面取得了很大的进步。

Ortado 说:“这些机器是(我们面临的)挑战。要么通过它,要么拜倒在它面前。你要把给开发者和资深团队信心、资讯,让他们相信 Kinect 的性能已经可以让他们为大众开发游戏。”

向前看

像 Freak’n Genius 和 Reflexion Health 这样的公司向外界展示了利用 Kinect 可以做些什么,以后还能做什么。


Hutchins 说:“Kinect 的价格可以承受、易用还能有如此神奇的性能。动作捕捉已经在医疗领域进行了几十年,但一直都是私人所有、研究用的,而且很不便捷。Kinect 让我们能够将这种动作捕捉技术带到现实生活中,带来了身临其境、极具代入感的交互体验。”

Kesterson 说:“我们正在创造可以让人们惊呼‘哇哦,好炫’的高质量、高精细度的视觉内容。我们也一直被高质量的内容所轰炸,所以我们和 Kinect 能做的越多,它就能让内容生产者和用户生产出、得到更高质量的内容。”

现在,人们可以通过 Xbox One 来体验 Kinect:玩游戏、看电影、Skype 聊天。也可以将 Kinect for Windows 摆在台面上为用户提供服务,或者是放在博物馆、宾馆、办公室里。第二代 Kinect for Windows 的预售已经开启,可以让更多开发者和消费者体验到 Kinect 的巨大魅力。

Evans 想对那些为提高 Kinect 性能做出劳动的人说:“你们的工作让 Kinect 能够识别出面前的是人、是画、还是沙发。你们的工作让 Kinect 在自然环境中正确地识别出用户来,而且是每家每户的每个人,都能正确识别。这就是我们在机器学习上投入的产出。现在它已经可以为所有人服务了。”

引用 回复 鲜花 ( 1) 臭鸡蛋 ( 0) 有新回复时发送邮件通知

与  开发 , 应用 , 学习 , 微软 , 机器学习  相关的话题
快速回复
用户名: 
美国的游客       (您将以游客身份发表,请登录 | 注册 )  
标题: * 你还可以输入80
评论: * 你还可以输入20000
分享到: 新浪微博   qq空间   qq微博   人人网   百度搜藏  
验证码:  * 
维护专业、整洁的论坛环境需要您的参与,请及时举报违规帖子,如果举报属实,我们将给予相应的积分奖励。
谢谢您的热心参与!
返回机器视觉 | 返回技术讨论专区
本论坛仅陈述专家或个人观点,并不代表机器人网网站立场。
返回论坛页首