这款新机器人用一个微软Kinect 3D摄像机和一个3D视频数据库，紧密跟随盯着“主人”，能识别出它所看到的行为，“思考”该环境中各种目标物的可能用途是什么，并确定那些用途怎样才能与主人的行为相匹配。然后，它会生成一系列的可能性——比如吃东西、喝饮料、做清洁、收拾物品等——最后选择最有可能的一项。随着行为的持续，机器人也在不断更新和改善它的预测。

“我们总结提炼了人类行为的一般规则。”康奈尔大学计算机科学教授阿苏托什·塞克森纳解释说，“喝咖啡是一项‘大活动’，但它包含了许多小部分。”机器人为这些小部分建立了一个“词汇表”，能将它们以不同方式组合在一起，从而识别出多种“大活动”。

在测试中，当机器人预测未来1秒钟要发生的事时，准确率达到82%；预测3秒钟的事准确率为71%；而预测未来10秒的准确率为57%。

“即使人类是可预测的，他们也只能预测一部分时间。”塞克森纳说，目前他们的机器人几乎还是硬编码反应，但应该有一种机器人学习怎样反应的方式。未来将会解决机器人怎样计划自己行为的问题。

研究小组将于6月18日至21日在美国亚特兰大召开的国际机器学习大会和6月24日至28日在德国召开的科学与系统大会上汇报他们的成果。