请选择 进入手机版 | 继续访问电脑版
用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-1.jpg

2018年5月19日-20日,由LiveVideoStack音视频技术社区出品的WebRTCon 2018在上海光大会展中心举行。在两天32场分享中,将有近300名的多媒体开发工程师、技术负责人、产品负责人及高端行业用户深度参与。WebRTCon 2018聚焦WebRTC及其周边技术生态,覆盖教育、娱乐、医疗、安防、交通、制造、旅游、电商、金融、社交、游戏、智能设备、IC等行业领域。

WebRTCon 2018邀请了来自Google、TutorABC、网易云信、英特尔、学霸君、PP云、腾讯、哒哒英语、三体云联、声网Agora、Aupera傲睿智存、相芯科技、dotEngine、Zealcomm、上海交通大学、阿里巴巴、科天云、北京大学、即构科技、触宝科技、爱奇艺、陌陌、优酷、唐桥科技、战旗直播、七牛、咪咕视讯、又拍云、华创视讯等30多位技术专家分享最新技术实践与最佳实践。

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-2.jpg

相芯科技(FaceUnity)作为主办方LiveVideoStack的合作伙伴,其图形引擎负责人蔡锐涛,在大会上给大家带来关于《Animoji 动态表情技术实现》的技术分享,从人脸表情跟踪、虚拟形象创建、表情动画绘制三个方面来解读相芯科技的解决方案。

相芯科技作为全球领先的3D数字形象技术提供商,专注于提供VR、AR和移动应用的底层支撑技术,特别是三维人脸重建、脸部动作捕捉、动画驱动,以及从单张照片生成虚拟化身的技术。

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-3.jpg

Animoji是随着iPhone X的发布进入大众视野,但是由于受到原深度摄像头的硬件限制,在其他手机上一直未能实现。随着三星在MWC2018发布了新机 Galaxy S9 系列,它带来了 AR Emoji,安卓手机大厂的介入,Animoji的使用场景正在不断扩大。

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-4.gif
▲通过相芯科技技术生成的Animoji表情

而相芯科技早在2016年就实现了Animoji技术在iOS、Android、Win、Mac全平台上的落地,而且对于用户没有硬件门槛,无需原深度摄像头,也能使用Animoji功能。相芯科技目前已为200多家海内外客户提供技术服务,产品被广泛应用于短视频、社交、直播、游戏、影视、教育、医疗等领域,月均SDK鉴权调用3亿多次。



相芯科技利用了人脸的先验知识,即只是看到一个人的照片,也可以想象出这个人的长相及三维特征。使用普通摄像头的二维图像作为输入,然后基于相芯科技长期积累的大量真实的三维人脸数据,并借助深度学习算法,重建出人脸三维模型,进而实时地进行人脸的三维定位跟踪。

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-6.jpg

然后通过实时精确捕捉47个面部肌肉运动,将获得的面部表情系数同步到虚拟形象的表情上,实现实时驱动。

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-7.jpg

在近期的合作伙伴中,搜狗手机输入法的抖脸功能,就使用了相芯科技的Animoji技术。
               用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-8.jpg                               
               
https://www.wengbi.com/video/982930927307145216
                                      ▲相芯科技为搜狗输入法的抖脸功能提供技术支持

在会上,蔡锐涛还进一步分享了如何让普通用户也能自定义数字形象的解决方案,即相芯科技的自动化数字形象生成技术(Photo-to-Avatar,P2A),通过单幅人脸照片自动生成于照片人物高度匹配、栩栩如生的全动态3D虚拟形象,可提供真人版和卡通版两种风格。今年5月,亮相央视的虚拟主持人,就是使用了相芯科技的这项技术。

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-9.jpg
▲相芯科技与科大讯飞合作的虚拟主持人

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-10.jpg

精彩的分享吸引了听众的互动环节抛出了各式各样的提问,有关于技术的讨论,也有关于未来合作场景的,蔡锐涛都为他们一一解答,有提问者也很直接地表示相芯科技的技术真的很牛。不少听众因时间限制无法提问,在分享会结束之后,开始与蔡锐涛私下交流技术问题,并提出了合作意向。在会展相芯科技展台的工作人员也为前来咨询的访客展示产品demo——FU Live,让访客更加直观地亲身体验相芯科技的核心产品,并为访客的功能需求对接技术解决方案。

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-11.jpg

在微信后台,回复关键词“demo”,即可下载FU Live app,第一时间体验相芯科技的产品。或点击→FU Live下载链接

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-12.jpg

关于相芯科技
相芯科技,全球领先的3D数字形象技术提供商。我们为客户提供3D数字形象生成及表情驱动、2D/3D脸部动态贴纸、智能美颜美型、手势识别、背景分割、人像光效等SDK开发包,产品被广泛应用于短视频、社交、直播、游戏、影视、教育、医疗等领域。目前已服务了百度、美图、数字王国、猎豹移动、LiveChat等近200家海内外客户,并与网易云、七牛云、声网、网宿、金山云等建立了深度合作关系,SDK月访问量超过3亿次。

用普通摄像头就实现的Animoji技术,相芯在WebRTC大放异彩-13.jpg
分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|翁笔

© 2001-2018 Wengbi.com

返回顶部