如何让虚拟人物动起来?「DeepMotionBrain」开发了真人驱动+自主生成的运动智能

人工智能现阶段主要是通过计算机来模拟人的思维过程,强调对人脑的模拟,其在行业中的应用也以模仿人脑对视觉、听觉等的处理判断过程实现,比如各种场景下的AI视觉识别、AI语音助手。在智力模仿之外,人的动作可以被模仿吗?动画、动捕技术已经可以实现对人类动作的逼真再现,如果没有动作样本数据输入的情况下,虚拟人物或者机器人可以像人一样自主做动作并根据环境变化自动调整运动轨迹吗?有一家创业公司DeepMotionBrain正在将这一设想变为现实。ZMF每天发布大量与生活相关的资讯平台

DeepMotionBrain于2014年成立于美国旧金山,创始人Kevin He曾先后担任暴雪娱乐魔兽世界引擎程序员、ROBLOX分布式物理平台技术总监和迪士尼中核手游工作室CTO。Kevin He表示,运动智能可以理解为通过动捕、摄像头识别等形成人类动作资源库,并且将现实中人、动物的动作都拆解出来,再基于这个资源库,结合AI、深度学习等技术任意生成所需的新的动作。生成的动作就可以与虚拟偶像、虚拟客服以及动画角色等结合,让虚拟形象也拥有自如运动的能力。ZMF每天发布大量与生活相关的资讯平台

现阶段,DeepMotionBrain的技术已经用于为C端消费者打造虚拟分身(Avatar),帮企业客户生产虚拟客服,以及参与游戏制作。ZMF每天发布大量与生活相关的资讯平台

创始人Kevin He介绍,公司2019年跟三星达成合作,为三星的Galaxy S10智能手机制作数字化身角色App,即AR emoji,同时也在跟新西兰的沙河游戏公司Dry Cactus(桥梁沙河游戏Poly Bridge的开发者)合作为下一代基于高仿真角色物理模拟的沙河游戏提供引擎技术。技术上,DeepMotionBrain跟英特尔达成了关于Motion Brain技术研发方面的合作,将借助英特尔高端后台服务器的算力研究智能运动大脑。此外,Epic Games最近颁给DeepMotionBrain一项名为Epic Grant的研发资金,用来支持DeepMotionBrain技术在VR方面的研究和应用。ZMF每天发布大量与生活相关的资讯平台

ZMF每天发布大量与生活相关的资讯平台

三星 AR emojiZMF每天发布大量与生活相关的资讯平台

DeepMotionBrain的技术路径可以分为两种:ZMF每天发布大量与生活相关的资讯平台

ZMF每天发布大量与生活相关的资讯平台

技术路径图ZMF每天发布大量与生活相关的资讯平台

1)Perceptive Motion Brain基于视觉的运动智能ZMF每天发布大量与生活相关的资讯平台

该技术是基于动捕设备,或者通过摄像头拍摄、已有视频解析等将真人的动作投射到虚拟形象上。DeepMotionBrain想打造普适性工具,其技术仅依靠普通摄像头就能捕捉真人动作,其与三星合作的AR emoji技术也源于此。目前,该技术还能用于真人驱动的虚拟形象直播和动画短片制作,以及对真人动作的刻画和解析,例如在健身、舞蹈领域可用来解析学员动作的准确程度,在医疗领域通过对于监测人的异常动作(如跌倒)来判断其健康状态。公司已经推出了云端动画自动生成的服务。 ZMF每天发布大量与生活相关的资讯平台

ZMF每天发布大量与生活相关的资讯平台

动作采集ZMF每天发布大量与生活相关的资讯平台

ZMF每天发布大量与生活相关的资讯平台

动作呈现ZMF每天发布大量与生活相关的资讯平台

2)Generative Motion Brain自主生成的运动智能ZMF每天发布大量与生活相关的资讯平台

Perspective Motion Brain是目前常见的虚拟形象的动作生成技术路线。然而,如果想打造虚拟偶像,虚拟形象还是要摆脱真人驱动,实现自主行动。DeepMotionBrain的Generative Motion Brain即是解决虚拟形象自主生成动作的问题。ZMF每天发布大量与生活相关的资讯平台

Generative Motion Brain首先要基于一套物理引擎的搭建。具体来说,Generative Motion Brain会首先解析人体的骨骼和肌肉结构,然后为虚拟形象设计相应的运动关节,再通过自研物理模拟算法来实现虚拟形象对真实动作的还原。在积累真实的运动数据过程中,虚拟形象不断模仿真人的动作,并最终形成自主运动能力。这种自主运动可以根据指令直接做动作,对于客观环境变化或者外界刺激也会做出真实反应。ZMF每天发布大量与生活相关的资讯平台

ZMF每天发布大量与生活相关的资讯平台

对外界环境自主反应ZMF每天发布大量与生活相关的资讯平台

Kevin He将Generative Motion Brain比喻为帮虚拟形象形成了“小脑”,会根据环境、大脑的命令来自主生成、调节动作。而一旦虚拟形象能自主生成动作,其与真人的互动体验将会更丰富。比如,虚拟偶像可以与粉丝击掌、拥抱,游戏里的虚拟角色在跟玩家互动、角色与角色之间互动时产生真实的反应。此外,通过对真人的物理模拟,DeepMotionBrain仅靠较少数量的追踪器即可对VR玩家进行全身追踪,目前公司也已参与到相关VR游戏的开发中。ZMF每天发布大量与生活相关的资讯平台

ZMF每天发布大量与生活相关的资讯平台

全身追踪ZMF每天发布大量与生活相关的资讯平台

Kevin He表示,Perceptive Motion Brain与Generative Motion Brain这两种技术路线不是孤立的,而是互相促进的。Generative Motion Brain需要大量的真人动作数据做积累,而Perceptive Motion Brain通过视频、摄像头即可解析、获取大量动作数据,能为Generative Motion Brain提供低成本训练数据。而当Generative Motion Brain比较成熟之后,可以自动生成动作反哺给Perceptive Motion Brain来训练其识别、投射的准确度,比如为其定制某些特殊环境下并不常见的动作行为。ZMF每天发布大量与生活相关的资讯平台

DeepMotionBrain成立以来已融资近千万美金,最新一轮由三星的Samsung Venture领投。公司已进入中国市场,目前正在积极寻求跟虚拟形象制作、游戏开发、动画制作等领域合作的机会。ZMF每天发布大量与生活相关的资讯平台

也许你还喜欢

网络文学江湖20年迎来大分化:从付费

文/陈纪英 版式/夏天 网文20年,吴文辉是一以贯之的男一号,从鲜衣怒马的少年网客,到联手腾讯

加油·早读 | 2019年BRANDZ最具价

〔 2019年5月7日 〕 第 240期 ○中通快递名列“BrandZ™2019最具价值中国品牌100强”

转型做产品经理,你需要这三个能力

如果你想转型成为一个互联网公司的产品经理,那你必须要会这三个技能! 阅读前,我们先思

贾跃亭回国系谣传;苹果 iOS 13 将升

瑞幸咖啡招股价区间定为 15-17 美元,最高筹资 5.87 亿美元 5 月 6 日晚间,瑞幸咖啡更新

权限管理的重要性,SAAS后台权限设计

saas平台由于其本身“按需购买”的特性,在设计规划权限时,需要考虑统一配置权限如何规避

微软Build:云上的万亿美元视窗帝国,

美国当地时间5月6日早晨,微软2019年Bulid开发者大会在西雅图正式开启,CEO萨提亚·纳德拉

00后QQ用户社交行为数据报告:去年

QQ上仍有超8亿的月活用户,且年轻用户比重还在不断增加,腾讯的“年轻化”战略在该应用中

5G手机面世,或将倒逼运营商提速降费

今年1月16日,广东联通宣布与中兴通讯联手在深圳的5G规模测试外场打通全球第一个基于3GP

华为将在 2019 年底前在加拿大发布

华为将在 2019 年底前在加拿大发布首款 5G 手机 5 月 7 日晚间消息,华为加拿大宣布,将

Reno 5G版瑞士开卖,OPPO 5G手机再次

今年对于智能手机来说是一个非常重要的一年。为什么这么说呢?因为今年是5G元年,随着越来