阿里推文生3D数字人项目Make-A-Character 人人皆成3D角色设计师

AI资讯9个月前发布 阿强
71 0

阿里又推“黑科技”!这次瞄准了文生人。Make-A-Character支持一句话生成超逼真的3D数字人。只需要通过文字描述人的脸型、五官、发型等特征,它就能在不到2分钟的时间内生成一个超逼真的3D角色。

项目及演示:https://top.aibase.com/tool/make-a-character

论文地址:https://arxiv.org/pdf/2312.15430.pdf

代码:https://github.com/Human3DAIGC/Make-A-Character

试玩地址:https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summary

而且你可以自定义面部特征,例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子,以及添加皱纹和雀斑等。

Make-A-Character(MACH)的主要特点:

1、可控制性:用户可以详细自定义面部特征,例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子,以及添加皱纹和雀斑等。

2、高度逼真:角色基于真实人类扫描数据集生成,发型为实际发丝而非网格,使用Unreal Engine的物理基础渲染(PBR)技术渲染,以实现高质量实时渲染效果。

3、完整模型:每个角色都是完整模型,包括眼睛、舌头、牙齿、全身和服装,无需额外建模即可立即使用。

4、可动画化:角色配备复杂的骨骼装置,支持标准动画,增强其逼真外观和多样化应用。

5、行业兼容:生成的3D角色可以无缝集成到现有的计算机图形(CG)工作流程中,特别是在游戏和电影行业中常用的工作流程。

MACH支持英文和中文提示,可根据详细的文本描述快速生成3D角色,例如“圆脸胖女士”或“棕皮肤戴黑眼镜的男孩,绿色头发”等等。

工作原理:

Make-A-Character(MACH)结合了大语言模型、视觉模型和3D生成技术。

1、文本解析:首先,MACH使用大语言模型(比如类模型)来理解用户输入的文本描述。这个过程中,它会识别出文本中提到的各种面部特征,例如脸型、眼睛形状、嘴巴形状、发型和颜色等。

2、视觉映射:接着,这些语义属性(如脸型、眼睛形状等)被映射到对应的视觉线索上。这意味着系统会根据文本中的描述生成一个参考的人脸图像。这个步骤通常使用像“”这样的图像生成模型来完成。

3、2D面部解析:生成的参考图像接下来会经过2D面部解析过程,这一过程涉及到对人脸的不同部分进行识别和分割。

4、3D生成:基于面部解析的结果,MACH开始生成目标角色的3D网格和纹理。这个过程包括创建角色的3D模型,并且将纹理(如皮肤、头发等)应用到模型上。

5、附加配件:如果文本描述中提到了其他配件(如眼镜、帽子等),这些也会在这一步骤中添加到3D角色上。

6、参数化表示和动画:最终生成的3D角色是参数化的,这意味着可以容易地对其进行动画处理,比如添加行走、说话等动作。

通过这些步骤,MACH可以快速从简单的文本描述中生成逼真的、完整的、可动画化的3D角色,适用于各种娱乐和专业场景。

© 版权声明

相关文章

暂无评论

暂无评论...