成本降到千元级别、12小时出demo、可自行定制“数字分身”……数智人生产有了可批量复制的“生产工厂”。
(相关资料图)
4月25日,腾讯云智能小样本数智人生产平台首次对外发布,平台具有训练样本小、生产效率高、自动化生产等特性,可以实现“自助式”数智人生产制作。 3分钟真人口播视频、100句语音素材,平台便可通过音频、文本多模态数据输入,实时建模并生成高清人像,在24小时内制作出与真人近似的“数智人”。
以知识分享口播视频生产为例,小样本数智人可以代医生、律师等专业人士出镜,大大节省视频录制时间。
数智人的价格、生产周期的下降,离不开通用模型的进步。
曾经训练每一个数智人,需要几十小时甚至更长时间的语料、视频素材,而用通用模型的学习,每一个新的数智人的定制,包括形象、音色等,边际成本会有所下降,逐渐成为固定成本。同时,数智人的生产周期也大大下降,曾经是以月为级别,如今一天内就能生成。
因为标注数智人的成本较高,腾讯在技术的构建里,引入了自监督机制,“让数据自己约束自己,可以省掉很多数智人标注时间。”
腾讯优图实验室研究总监汪铖杰介绍,早期做3D重建时,需要自己设计一套表情,再用3D扫描,才能获得一个3D人脸,需要花费半个小时到一个小时,一天能够采集的人的数量有限。而采用了自监督模式后,生成效率就会大大提高,数据量提高后,模型的表达能力也会提升。再通过自监督学习的方式,去消化大量数据,构成预训练模型。另外,生成模块中,3D重建渲染出来变成自然图像,最后也会以自监督学习的模式变成自己学习,达到消化大数据,通用预训练模型的效果。
另一个降低成本的方式是提高自动化生产能力。比如,原来一个人有50-200多个表情,挨个制作较为麻烦,现在重建算法,自动去生成标准,就能加快整个制作过程。
“小样本数智人,看到的小,但是背后是大,是基于自监督技术,构建大的数据、大的模型。现在是3分钟,可能过几个月变成1分钟了,大模型持续去消化更多的数据,模型会变得更大。”汪铖杰说。
目前,“数智人工厂”大多还是面向企业端用户、特殊名人定制等方向,由于个人投入的商业模式较为模糊,出于算力成本、制作成本等考虑,开放时间未明。
“(C端个人用户)整体的落地,一个是时间成本,一个是金钱成本,还有一个是稳定性,这三个如果都解决了,对于个人来说做自己的数智分身都是触手可及的。我们会变成自助式的,客户可以自己开账号,下单,购买,上传素材,自己训练,确认效果好不好,后续就是一站式的,自己独立式的生成。”腾讯云智能数智人产品总经理陈磊说。
撰文 | 赵子坤
编辑 | 董雨晴