搜狗-清华天工研究院提出ChoreoNet模型：让数字人闻声起舞

克日，搜狗两全技能团队连系清华大学天工智能计较研究院贾珈先生团队配合颁发的数字人技能论文《ChoreoNet:基于跳舞举措单位的音乐-跳舞合成框架》被2020国际顶级盛会ACM Multimedia任命为长文。

（截图来历：ACM Multimedia官网https://2020.acmmm.org）

ACM Multimedia专注于推进多种媒体的研究与应用，涉及人工智能、计较视觉、数据科学、深度进修、人机交互等多个新兴规模，是中国计较机学会保举的多媒体规模独一A类国际学术集会会议，被以为是多媒体技能规模奥运级此外盛会。固然勉励来自环球的种种机构分享、交换最新研究成就，但该集会会议论文接管率很低，只有对一般糊口和技能打破具有庞大影响潜力的研究项目才会被通过。

“攻陷难关”备受承认

音乐和跳舞是与人们糊口密不行分且高度相干的两种艺术情势，连年来，“乐舞合成”也是业内高度存眷的规模。不外，早期合成基于相似度检索举办，合成功效的多样性有限，而今朝通行的要领是操作神经收集模子，将音乐特性映射到人体骨骼要害点，但因为人类骨架要害点的高度冗余和带噪特征，逐帧要害点猜测很是坚苦，导致合成质量有限，成为困扰业内人士的一大“难关”。

搜狗两全技能团队与清华天工研究院贾珈先生团队在论文中提出了一个极具缔造性的办理方案，该方案将人类编舞常识融合到乐舞合成框架中，计划多个跳舞单位(CAU)，并行使CAU序列猜测模子，开拓了一个像人类一样按照音乐编排跳舞举措的跳舞合成框架——ChoreoNet。通过尝试验证和数据比拟，相较于基线法，ChoreoNet机能更好，合成举措也越发天然传神，无论是音乐匹配度、举措天然度照旧其他方面，示意都越发优越。

（截图来历：ChoreoNet论文）

此次，该论文被ACM Multimedia承认并登科为长文，不只代表了搜狗AI两全技能在身材举措及姿态天生方面的打破，也从侧面印证了搜狗强盛的AI技能气力和可以或许实现一连输出的创新手段。值得留意的是，搜狗是在业内率先选择通过音频来驱启航体举措作为研究课题的先行者。

“死磕技能”引领偏向

在搜狗的AI计谋国界中，“天然交互+常识计较”是焦点偏向，技能研究和敦促技能向产物的快速转化均以此为基本和偏向，而搜狗“两全”是个中要害和重要一环。

在2018年宣布环球首个AI合成主播之后，搜狗两全一连研究并打造越发传神天然的数字人手段，在2D/3D数字人规模构建了音画同步、传神的面部心情唇动天生及驱下手段。另外，怎样可以或许让数字人越发天然而且富有示意力也是搜狗两全的重点研究偏向，个中身材举措以及姿态的表达至关重要。搜狗在首代AI合成主播问世后不到3个月的时刻，便乐成推出与“坐播”截然差异的“站播”合成主播，本年5月推出的3D AI合成主播不止面部细节经得起高清镜头检验，更是实现了自如行走。本次与清华大学天工智能计较研究院的事变选择了音乐场景，重点研究怎样晋升身材举措天生及驱动的示意力和天然度，为AI数字人的技能试探开启了新偏向。

“将来应用”远景辽阔

人工智能是将来科技的风向标，而5G期间的到来又大大加快了这一历程。自2018年搜狗推出环球首个AI合成主播之后，可以或许与平凡人的糊口深度领悟并普及运用于各行各业的“AI两全”便深受存眷，不少科技企业躬身入局。

从上文可以看出，搜狗从未停下打破的步骤，从2D到3D、“坐播”到“站播”、从支持单一语种到支持多语种、再到支持互动。今朝搜狗两全技能已经在司法、传媒、会展、艺术、金融客服等多个园地落地，为新华社、央视、安全惠普、北京互联网法院等打造了多个AI合成主播、AI合成客服、AI假造法官等，也缔造了雅妮、新小微、新小浩、新小萌等多个经典AI数字人形象。

由音频驱动的数字人或数字跳舞演员，拥有庞大的想象空间和市场化应用远景。出格是与搜狗现有3D数字人的技能相团结后，行使场景可以从今朝齐集的传媒、金融、法令等规模向影视、娱乐规模进军，搅动万亿局限的市场。

AI为人赋能，这是搜狗人工智能的成长理念，也是搜狗两全技能的愿景。作为一项既能办理行业痛点，又能为用户缔造代价，既能给社会带来厘革、又能对科技发生影响，同时还能一连打破和前进的前沿技能，搜狗两全的将来，无疑具备更多的也许性、极大的想象空间。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!