Reallusion通过集成NVIDIA AI增强数字角色
realtime news Jun 11, 2024 10:10
Reallusion利用NVIDIA AI创建栩栩如生的数字角色，改变了电影制作人和开发人员的动画工作流程。
根据NVIDIA技术博客，Reallusion通过集成NVIDIA的先进AI技术，正在革新数字角色的创建。这一合作将改变电影制作者、游戏开发者和内容创作者的动画工作流程。
使用Audio2Face进行AI驱动的动画
Reallusion利用NVIDIA的Audio2Face技术，该技术可以自动从音频或文本输入生成生动的面部动画和唇同步。Audio2Face支持多种语言，无论是角色在讲话还是唱歌，都能进行动画制作，使其成为动画师的多功能工具。最新的独立版本还包括生成逼真面部表情的功能，具备滑块和关键帧控制以进行详细调整。
集成到Reallusion的Character Creator和iClone应用程序中，Audio2Face实现了无缝的AI辅助动画工作流程。用户只需单击一下即可准备动画资产，生成与任何提供的语音轨道匹配的实时面部运动。生成的动画可以在iClone中进一步优化，然后渲染用于各种生产环境。
精简的动画工作流程
NVIDIA和Reallusion的合作开发了CC Character Auto Setup插件，将之前繁琐的18步流程简化为单一步骤。用户可以导入Character Creator资产并选择一个训练模型，通过任何音频输入为3D角色赋予栩栩如生的面部动画。可以使用Audio2Face的运动滑块和关键帧控制进行额外的性能雕刻，然后在iClone中进行最终生产优化。
iClone提供了对面部动画各个方面的细粒度控制，从表情水平到头部动作和模拟眼睛运动，允许动画师真实地传达角色的个性。该软件还可以结合来自AccuFACE或iPhone Live Face等动作捕捉设备的头部运动。
AccuFACE：下一代AI面部动作捕捉
由 NVIDIA Maxine AR SDK 提供支持的 AccuFACE 提供实时面部捕捉质量和能力。利用带有 Tensor 核心的 NVIDIA GPU，Maxine AR SDK 提供 AI 驱动的 3D 面部跟踪、身体姿势估计等。AccuFACE 将捕捉到的面部数据转化为无缝的数字动画，能够实时生成生动的面部动画和响应3D头像。
AccuFACE的关键功能包括精确的地标映射、头部姿势和变形跟踪、面部网格重建以及强大的面部检测和定位功能。这些功能允许捕捉细微的面部表情，对于传达情感和增强数字角色的真实感至关重要。
AccuFACE还提供工具来优化AI生成的跟踪效果，以达到专业级的结果。平滑过滤和去噪等设备设置解决了跟踪伪影问题，而抗干扰取消防止面部动作的错误交叉触发。进一步的校准和优化可以捕捉独特的表情并提供真实的表演。
可用性
NVIDIA Maxine 为专业人士提供高质量的视频通讯和 AI 技术。最新的 Maxine 生产版本包含在 NVIDIA AI Enterprise 中，提供生产就绪的功能和企业支持。要提前访问新功能，用户可以加入 Maxine 早期访问计划。
Reallusion与NVIDIA的合作展示了AI在动画领域的变革潜力，使专业级的面部动作捕捉和动画对更广泛的受众变得可访问。这一进步允许动画师在无需大量专业知识或特殊设备的情况下实现高质量的结果，彻底改变了数字角色动画。
欲了解更多信息，请访问 NVIDIA技术博客。
Image source: Shutterstock