设计真实人物的富有表现力的虚拟形象

### 设计真实人物的富有表现力的虚拟形象 在当今数字化时代，虚拟形象（avatar）作为一种类人计算机界面，正以各种形式得到积极开发，并在不同的目标应用中日益普及。人类表达和识别情感的能力在面对面交流中起着重要作用，随着技术的进步，计算机生成的虚拟形象具备类似的情感表达能力也变得越来越重要。本文将详细介绍逼真响应式虚拟形象框架（Lifelike Responsive Avatar Framework，LRAF）的开发过程，以及用于建模特定个体的原型应用，以分析富有表现力的虚拟形象的有效性。 #### 1. 引言 虚拟形象是一种类人计算机界面，随着先进计算机图形学、人工智能和各种传感技术的广泛应用，逼真的虚拟形象能够实现越来越自然的交互。人类表达和识别情感的能力在面对面交流中至关重要，而虚拟形象界面依赖于人们日常交流的自然性，因此理解其本质是成功的关键。本文的工作主要有三个方面的贡献： - 分享创建虚拟形象框架的经验。 - 详细展示虚拟形象的创建过程。 - 通过原型应用进行用户研究，分析虚拟形象情感表达与人类情感表达的有效性。 #### 2. 相关工作 对虚拟形象或虚拟人的研究已经进行了数十年。不同的研究表明，应用领域会影响虚拟形象的有效性。例如，Yee 等人对 40 个研究项目中虚拟形象使用的有效性进行了元分析，发现视觉类人化的具身代理界面及其逼真行为在主观反应上有显著效果，但在任务绩效上没有明显作用；而更自然的行为模型，如关系代理，在虚拟护士应用和长期日常锻炼应用中，不仅在主观上，而且在行为指标上都为用户提供了更好的体验。然而，早期的一项扑克游戏研究中，一些受试者认为扑克玩家在游戏过程中不应表现出任何情绪。 在虚拟形象的情感表达方面，Ekman 的经典研究被广泛应用于虚拟形象界面中的人类情感建模。Diana 等人提出了一种使用 MPEG - 4 面部动画参数生成情感状态的情感模型，并评估了其识别率。Wallraven 等人的一系列研究使用 4D 扫描仪捕捉人类表情并创建计算机动画头部，比较了不同渲染技术（如纹理和形状模糊、渲染风格化）下的感知准确性，发现更逼真的渲染在提供主观确定性和传达表情的质量方面表现更好。但创建逼真的图形来模仿人类主体需要高保真硬件或设计师的大量努力。本文将介绍一种无需独特硬件或大量人工干预即可创建人物虚拟形象的可靠方法。 #### 3. 设计与实现 创建一个引人注目的虚拟形象需要涉及编程、观察、设计和评估等多个复杂步骤。下面将介绍 LRAF 系统的实现，包括框架和虚拟形象的创建方法。 ##### 3.1 逼真响应式虚拟形象框架（LRAF） LRAF 由多个模块组成，以适应逼真虚拟形象的各种功能。其高层框架架构如图 1 所示： ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; User(用户):::process --> UserInputManager(用户输入管理器):::process UserInputManager --> ApplicationLogic(应用逻辑):::process ApplicationLogic --> SceneManager(场景管理器):::process ApplicationLogic --> GUI_Manager(GUI 管理器):::process ApplicationLogic --> GraphicsAssetDatabase(图形资产数据库):::process ApplicationLogic --> ExpressionSynthesizer(表情合成器):::process ExpressionSynthesizer --> SkeletalAnimationSynthesizer(骨骼动画合成器):::process ExpressionSynthesizer --> FacialExpressionSynthesizer(面部表情合成器):::process FacialExpressionSynthesizer --> LipSynchronizer(唇同步器):::process ApplicationLogic --> TTS_Engine(文本转语音引擎):::process TTS_Engine --> WaveAnalizer(波形分析器):::process WaveAnalizer --> LipSynchronizer ApplicationLogic --> Network(网络):::process ApplicationLogic --> PythonBind(Python 绑定):::process SceneManager --> ObjectOrien ```