Human-robot facial coexpression

全文总结

论文摘要（实验型论文范式）

​​研究问题​​

当前，大型语言模型推动了机器人语言交流能力的快速发展，但非语言交流（如面部表情）的研究仍相对滞后。物理人形机器人主要依赖语音交流，缺乏自然、及时和真实的面部表情表达能力。这一挑战源于两方面：一是机械上实现多功能面部驱动的复杂性；二是如何生成自然且同步的面部表情以增强人机交互的真实性。

​​研究方法​​

本研究提出了一种通过训练机器人预测人类未来面部表情并实现同步表达的方法。与延迟模仿相比，同步共表达（coexpression）能更真实地反映情感状态。研究团队开发了一个名为Emo的仿人面部机器人，配备26个自由度（DoF）的驱动系统，采用直接磁吸式柔性面部皮肤和嵌入式眼内摄像头。通过结合两个神经网络模型——预测模型（预测人类表情）和逆向运动学自模型（生成机器人表情），实现了同步共表达。

​​实验设计​​

1. ​​硬件设计​​：Emo机器人采用模块化设计，包含眼、嘴和颈部模块，通过磁吸式柔性皮肤实现复杂表情变形。

2. ​​数据收集与训练​​：

   • ​​逆向模型​​：通过机器人“随机动作探索”（motor babbling）自监督学习，建立电机指令与面部标志点（landmarks）的映射关系。

   • ​​预测模型​​：基于人类表情视频数据集（MMI Facial Expression Database），通过峰值激活检测和时序分析，预测目标表情。

3. ​​实验验证​​：对比了同步共表达与延迟模仿的效果，并通过混淆矩阵和统计分析了预测模型的准确性。

​​结果与分析​​

1. ​​同步性能​​：机器人能提前839毫秒预测人类微笑，并在剩余时间内完成逆向模型计算和机械执行，实现同步表达。

2. ​​模型评估​​：

   • 逆向模型在生成表情的准确性上显著优于随机搜索和最近邻基线（L1误差降低约50%）。

   • 预测模型的平均绝对误差（MAE）为0.022，优于随机基线（0.038）。

3. ​​泛化能力​​：模型在45名不同参与者的多样化表情测试中表现稳定，成功泛化至未训练数据。

​​总体结论​​

本研究通过硬件创新（高自由度柔性面部机器人）和算法设计（预测+逆向模型），首次实现了机器人对人类面部表情的同步共表达。实验表明，该方法显著提升了人机交互的真实性和情感共鸣，为社交机器人领域提供了新范式。未来需进一步优化文化敏感性表达和伦理框架，以适配更广泛的应用场景。

​​关键词​​：人机交互、面部共表达、预测模型、仿人机器人、情感计算

核心速览

研究背景

1. ​​研究问题​​：这篇文章要解决的问题是机器人面部表情的非语言交流能力不足。具体来说，现有的机器人主要依赖声音进行表达，而在面部表情方面存在机械挑战和如何生成自然、及时且真诚的表达的问题。

2. ​​研究难点​​：该问题的研究难点包括：如何机械地驱动一个表情丰富且多样的机器人面部；如何知道生成什么样的表情才能使机器人看起来自然、及时且真诚。

3. ​​相关工作​​：该问题的研究相关工作包括：人类在社交互动中通过面部表情进行情感表达的研究；现有机器人在面部表情方面的进展，尤其是Eva机器人平台的自建模能力；以及面部表情在心理学、神经科学和机器人学中的广泛研究。

研究方法

这篇论文提出了一种通过训练机器人预测未来面部表情并与人类同时执行的方法来解决机器人面部表情的非语言交流问题。具体来说，

1. ​​预测模型​​：首先，开发了一个预测面部表情的模型，该模型能够基于人脸的初始和细微变化预测目标表情。模型使用了一个残差神经网络，包含八层全连接层，并通过均方误差损失函数和Adam优化器进行优化。

   

2. ​​逆模型​​：其次，训练了一个逆模型，该模型根据面部标志生成相应的运动命令。逆模型由几层多层感知器组成，隐式捕捉了机器人的面部形态、弹性和运动学。输入的面部标志矩阵维度为113 x 2，输出的运动命令由11个参数组成，范围在[0,1]之间。

3. ​​数据生成与归一化​​：为了训练预测模型，使用了MMI面部表情数据库中的视频数据。数据生成过程包括计算每帧面部标志与人脸静止标志之间的欧几里得距离，并使用Savitzky-Golay滤波器平滑原始数据曲线。通过计算二阶导数来确定面部变化的加速度，并采样峰值激活前后的帧作为输入数据和目标面部标志。

论文评价

优点与创新

1. ​​面部共表达能力的提出​​：论文提出了通过训练机器人预测并同步执行人类的面部表情，从而缓解机器人在非语言交流上的挑战。传统的延迟模仿看起来不自然，而面部共表达则显得更真实，因为它需要对人类的情感状态进行正确推断并及时执行。

2. ​​提前预测面部表情​​：研究发现，机器人可以提前约839毫秒预测人类的微笑，并使用学习到的逆运动学面部自模型与人类同时共表达微笑。

3. ​​26自由度的机器人面部​​：使用了一个包含26个自由度的机器人面部，展示了机器人能够同时执行复杂的面部表情。

4. ​​硬件和软件升级​​：介绍了名为Emo的类人面部机器人，配备了26个执行器和高分辨率RGB相机，增强了机器人的环境感知和面部表情预测能力。

5. ​​自监督学习方法​​：提出了一种基于视觉的自监督学习方法，使机器人能够通过观察自己在镜子中的影像来学习电机命令与面部表情之间的关系。

6. ​​跨文化通用性​​：尽管研究中没有明确提及，但论文指出未来的工作可以考虑将文化背景整合到模型中，以处理不同文化对某些面部表情的不同解释和感知。

不足与反思

1. ​​文化敏感性的缺乏​​：当前研究的模型在预测和模仿表情时可能缺乏文化敏感性。不同文化可能对某些面部表情有不同的规范和含义，这可能影响模型的准确性和适用性。

2. ​​面部模仿的局限性​​：尽管面部共表达比简单的模仿更先进，但仅仅是模仿面部表情还远远不能涵盖人类面部交流的全部能力，有时甚至可能被认为是令人不快的。

3. ​​下一步工作​​：未来的研究可以探索将文化背景整合到模型中，通过结合来自不同文化背景的数据集和理解文化规范来提高模型的准确性。此外，进一步研究如何优化机器人面部表情的自然性和真实性也是一个重要的方向。

关键问题及回答

​​问题1：论文中提出的预测模型是如何实现面部表情预测的？其性能如何？​​

预测模型是一个残差神经网络，包含八层全连接层，优化目标是最小化均方误差损失，使用Adam优化器进行优化。具体来说，预测模型通过分析人类面部的初始和细微变化来预测目标表情。模型能够在人脸表情变化的峰值时刻之前约839毫秒预测出即将出现的微笑。通过与随机选择和最近邻方法的对比，验证了预测模型的准确性。实验结果表明，预测模型能够成功预测多种面部表情，并且在处理速度和准确性上表现优异。

​​问题2：逆模型在生成机器人面部表情方面的具体作用是什么？其性能如何评估？​​

逆模型的作用是根据输入的面部标志生成相应的运动命令，控制机器人的面部表情。逆模型由几层多层感知器组成，隐式捕捉了机器人的面部形态、弹性和运动学。输入的面部标志矩阵维度为113 x 2，输出为11个电机的值，这些值被归一化到[0,1]范围。逆模型的性能通过与其他基线方法（如随机命令、随机选择和最近邻搜索）的对比进行评估。实验结果显示，逆模型生成的电机命令能够导致比三种基线方法更准确的面部表情，使用L1距离衡量电机命令的距离，结果表明逆模型的性能优于基线方法。

​​问题3：论文中提到的数据增强技术是如何提高模型泛化能力和鲁棒性的？​​

数据增强技术通过从原始数据集中提取上半部分和下半部分的面部标志，分别进行训练，然后将它们组合成增强数据。具体来说，上半部分和下半部分的面部标志分别对应于机器人面部的不同区域，这种分离训练的方法可以防止模型过度依赖某一部分的数据，从而提高模型的泛化能力。此外，通过组合不同的面部标志数据，可以增加数据的多样性和复杂性，使模型在面对不同面部表情时更具鲁棒性。实验结果表明，这种数据增强技术显著提高了预测模型和逆模型的性能。

人形机器人

人机面部表情共情

胡宇航1、陈博远2,3,4、林炯1、王云哲5、王颖科5、卡梅伦·梅尔曼1、霍德·利普森1,6

大型语言模型正在推动机器人言语交流的快速发展，但非言语交流却跟不上步伐。物理人形机器人在使用面部动作表达和交流方面存在困难，主要依赖声音。这一挑战具有双重性：首先，一个表情丰富多样的机器人面孔的驱动在机械上具有挑战性。第二个挑战在于知道生成什么样的表情，以使机器人显得自然、及时且真诚。在这里，我们提出通过训练机器人预测未来的面部表情，并与人类同时执行，可以缓解这两个障碍。虽然延迟的面部模仿看起来不真诚，但面部共情感觉更真实，因为它需要对人类的情绪状态进行正确推断，以便及时执行。我们发现，机器人可以在人类微笑前约839毫秒学会预测即将到来的微笑，并使用学到的逆运动学面部自我模型，与人类同时共情地微笑。我们使用一个包含26个自由度的机器人面孔展示了这一能力。我们认为，共情地同时表达面部表情的能力可以改善人机交互。

版权所有©2024 作者，部分权利保留；独家许可给美国科学促进协会。对美国政府原始作品无主张权

引言

没有什么手势比微笑更迷人了。但当两个人同时向对方微笑时，这种感觉是相互的，而且双方都需要同时做出微笑识别的动作，他们很可能事先就处于一种心理状态。这种认知上的确认通过建立双方“思维一致”来进一步巩固情感纽带（1-3）。像同时微笑这样的社会一致性行为对于成功的社交互动非常重要，因为它们表明了相互理解和共享的情感（4-6）。简单来说，如果一个微笑是同时发生的，那么它更有可能是真诚的（7）。

面部表情在心理学、神经科学和机器人学等多个领域得到了广泛研究。对于一些面部动作，观察他人的面部运动会在无意中引发自发的类似面部运动（8-11）。例如，两个人同时微笑所营造的氛围往往能反映出交流的和谐与真诚（12）。然而，需要注意的是，这种镜像作用并不是普遍存在的。在社会不一致的情况下，可能会出现相反的面部反应，比如用恐惧回应愤怒（13）。某些表情的微妙同步是一种可能带来重大进化优势的能力，因为它促进了社会凝聚力和相互理解——这两者对群体生存至关重要（14）。在日常互动中，如果一个人在其他人同时微笑时表现出延迟的微笑，那么这可能会被感知为不真诚或顺从。

在不同年龄、种族和文化背景的人群中，人们常常通过相似的面部动作表达类似的心理状态（15）。然而，请注意有充分的证据表明，在表情的展示和感知方面存在文化差异，这种差异被放大了：不仅在不同程度上有所体现，而且他们表达的方式以及正确推断彼此之间以及跨年龄的差异，可以进一步影响对这些表情的感知。例如，年轻个体可能会对某些面部线索有不同的解读，而来自不同种族背景的人可能会对由其他种族背景的人展示的面部表情有不同的感知（18, 19）。通常认为，面部表情经常反映内在情感，导致表情形成和情感体验几乎同时发生（20, 21）。然而，包括巴雷特等人（22, 23）的研究在内，最近的研究表明，这种关系并不总是直接的，并且可能基于众多因素而变化。因此，我们认识到以下的工作只是对人类与机器人互动这一非常复杂和强大的模式的表面进行了浅尝辄止（24, 25）。

在人类与机器人的互动领域，我们认为预测性面部表情的重要性至关重要。目前，大多数机器人只能在人类完成表情之后感知到人类的情绪并作出反应（26）。这样的反应性表情缺乏预测性表情所具有的真实性和即时性。仅限于在人类表情发生后模仿的机器人无法完全融入人类社会环境，因为响应的延迟会被感知为人工和不真实。

要让机器人被感知为真实和情感智能，它们必须能够进行预测性的面部表情。这对于微笑尤为重要，微笑在社会联系中起着过大的作用。如图1C所示，模仿性微笑与预期性微笑之间存在鲜明对比。预期性微笑是在理解和预测对方情绪状态的基础上产生的，对于建立真正的人机情感联系至关重要。机器人中的预期模型可以使人机互动更接近人与人之间的互动，弥合社交沟通的差距，并带来更整合和情感智能的机器人系统。

图1. 面部共同表达过程。(A) 样本同时输出。(B) 整体流程的描述。在时间t0时，人脸处于平静（基线）状态，而在时间tn时，表情变化加速度最大。未来目标脸（tm）与平静脸有最大的差异。在检测到峰值激活后，从时间t0到时间t提取的地标被串联作为预测模型的输入。逆模型以标准化的面部地标为输入，并输出一组用于控制器执行的电机指令。（C）顶行展示了面部表情协同的过程，机器人使用预测模型与人类参与者同时产生面部表情。底行显示了模仿基线，机器人生成的面部表情与人类相同，但有明显的延迟。每行包含一系列四个快照，捕捉表情从开始到完成的进展。这种视觉表现突出了通过预测性面部表情实现的同步性和真实性，与模仿基线中的延迟反应相比。如需动态查看此互动，请参阅电影S1中的视频演示。

一个示例的同时输出

B 学习框架

人类能够生成数千种不同的面部表情来传达无数细致的情感状态，这种能力是人类社交互动中最有力和最有效的界面之一（27）。在2019年冠状病毒病疫情期间，口罩使社交互动变得尴尬，因为它们遮挡了面部表情。与此同时，当打开摄像机时，远程会议变得更加有效（28-30）。类似地，一旦机器人能够展示丰富三维（3D）面部表情，它们就能增强其沟通能力，并更有利于与人类建立信任。

C 一次性实验

面部表情协同：

面部模仿基线：

尽管由于人工智能的发展，机器人在过去几年中取得了显著进步，但在面部机器人领域相对而言进展较小。面部动画需要复杂的硬件和软件设计。尽管以往的工作已经制造出令人印象深刻的人形面部机器人，但这些机器人主要依赖于预先编程的面部动画（31-37）。这些表情通常都是经过精心预编程、调整和排演的，而不是即兴的。近期在面部机器人领域的进展集中在使情绪动态表情多样化并改进（38, 39），这是朝着创造更像人类的互动迈出的一步。

我们之前的机器人平台Eva是早期具备自我模拟面部表情能力的机器人的一个例子（1）。然而，要实现更具说服力的社交互动，机器人必须学会预测不仅是自己的面部表情，还有与其交流的对方代理的表情。

在这里，我们介绍一款名为Emo的人形面部机器人，它具有显著的硬件特征。Emo配备了26个执行器（见图2），提供了更多的自由度，允许不对称的表情。与Eva的面部10个执行器相比，这是关键的不同之处。Emo设计中的一个关键差异在于使用直接附着的磁铁来变形可替换的面部皮肤，而不是Eva中使用的电缆驱动机制（鲍登电缆）。这种方法对面部表情提供了更精确的控制。此外，Emo的眼睛中嵌入了摄像头，使其具备类人的视觉感知能力。这些高分辨率的红绿蓝（RGB）相机，每只眼睛一个位于瞳孔内，增强了机器人与其环境互动的能力，并能更好地预测对话者面部表情。除了这些硬件升级之外，我们引入了一个学习框架，该框架由两个神经网络组成——一个用于预测Emo自身面部表情（自我模型），另一个用于预测对话者的面部表情（对话者模型）。我们的软体人脸机器人有23个电机专门用于控制面部表情，还有三个电机用于颈部运动。总体而言，这些改进使得Emo成为一个与其前身Eva相比有很大不同且更先进的人脸机器人。我们还提出了一种升级方法，与上一代相比，在相同硬件上表情生成的速度提高了五倍，而不是实时预测对话者的目标面部表情。通过结合自我模型和预期对话者模型，机器人能够进行共表达。我们的方法概括了超过45名人类参与者。最后，我们展示了如何使用这两种模型在我们的实体机器人上实现人机同步表情。

结果

人脸机器人设计

我们的成果是使用我们的人形面部机器人实现的，该机器人配备了26个执行器和可互换的软体面部皮肤（见图2）。整个面部皮肤由硅胶制成，并使用30块磁铁固定在机器人硬件上（见图2A）。机器人面部皮肤可以用其他设计替换，以改变外观和进行皮肤保养。例如，在图2B中，我们改变了

机器人的脸部从浅蓝色变为较深的蓝色，上面带有螺旋状标记。该机器人由三个子组件模块组成：两个眼部模块、一个嘴部模块和一个颈部模块。

如图2C所示，眼部模块控制眼球、眉毛和眼睑的运动。每个眼部框架都配备了一个高分辨率的RGB相机。眼部框架通过两个电机驱动，利用平行四边形机构在俯仰和偏航两个轴线上分别进行动作。这种设计的优点在于它在眼部框架的中心创造了更多空间，使我们能够将相机模块安装在对应于人类瞳孔的自然位置。此设计促进了机器人与人类之间更自然的面对面交流。它还允许正确且自然的目光接触，这是非言语交流的关键方面，尤其是在近距离时。我们在电影S2中提供了一个视频演示，展示了我们的机器人眼睛里的相机如何追踪人脸。

在将命令发送到控制器后，该过程会自动去除可能撕裂面部皮肤或导致自身碰撞的电机指令。当伺服电机到达由指令定义的目标位置后，我们用RGB相机捕捉了机器人面部的图像，并提取了机器人的面部特征点。

嘴部的运动很复杂。虽然大多数机械人偶机器人的脸部通常只展示简单的下巴运动，但我们的目标是复制人类嘴唇的复杂运动，通过一个机械结构来实现。为了解决这一挑战，我们设计了几个被动关节和连杆，这样当机器人嘴巴移动时，柔软的皮肤可以在机械结构的被动自由度上弯曲，形成复杂但看起来自然的变形。嘴部模块包含图2D所示的九个运动链。其中六个带有被动关节控制上下嘴唇。两个五杆连杆机构控制嘴角运动，最后的连杆机构控制下巴的运动。我们提供了一个视频来演示嘴部模块和机器人整个硬件的运动，该视频在电影S3中。

给定电机指令和面部标志的数据集，我们接着旨在训练一个逆向模型，该模型能够根据面部标志生成相应的运动指令。逆向模型由几层多层感知器组成，这些感知器隐式地捕捉了机器人的面部形态、弹性和运动学特性。每个数据元组包括一整套面部标志，由一个大小为113 x 2的向量表示，以及相应的11个电机值。我们收集了1000个数据点，其中200个用于验证，剩余的800个用于训练。因为机器人上半部分眼睛模块的运动与下半部分嘴部模块的运动相对独立，所以整体训练数据集可以分成两部分。通过从两个独立的子数据集中分别提取上半部分面部标志（52 x 2）和下半部分面部标志（61 x 2），并将它们组合在一起形成增强数据，从而扩充训练数据。

生成机器人表情的逆向模型

我们提出了一种自监督学习方法来训练我们的面部机器人，使其能够在没有明确动作编排和人类标签的情况下生成人类面部表情。传统控制机器人的方法依赖于运动方程和仿真，但这只适用于已知运动学的刚体机器人。我们的机器人拥有柔软的变形皮肤和几个带有四个插孔接头的被动机构，因此很难获得机器人运动学的运动方程。我们通过利用一种基于视觉的自监督学习方法克服了这一挑战，该方法使机器人能够通过观察镜子中的自己来学习电机指令与所产生面部表情之间的关系。

我们通过将我们的方法与三种基线进行比较来评估逆向模型的有效性。第一种基线是随机生成电机指令，第二种是从训练数据集中随机抽取并比较指令。两种基线都使用随机选择，但分布不同，因为我们用来生成逆向模型数据集的指令是通过约束函数修改的。第三种基线是最接近的邻居。它将标志点与训练数据集进行比较，并直接使用最近标志点的指令作为输出。我们使用L1度量来衡量归一化到[0,1]范围内的电机指令距离。图4A展示了我们逆向模型评估的箱型图。逆向模型生成的电机指令导致的面部表情比三个基线更准确。我们的模型成功学习了运动指令与柔软面部皮肤形态和弹性之间的关系。

机器人的面部表情由19个电机控制，其中18个对称分布，一个电机控制下巴运动。在我们的案例中，面部数据集中的表情都是对称的；因此，对称分布的电机在控制机器人时可以共享相同的运动指令。因此，实际的控制指令只需要11个参数，并归一化到[0,1]范围内。

预测模型用于表情预期

为了实现机器人真实且及时的面部表情，它必须提前预测面部表情，为其机械装置提供足够的时间来执行动作。为此，我们开发了一个预测面部表情模型，并用人类做表情的视频数据集对其进行了训练。该模型能够仅基于人脸上的初始微妙变化来预测一个人将要产生的目标表情。

面部逆向模型是使用机器人自身生成的数据集（图3）进行训练的，该数据集包括运动指令和相应的面部标志点。我们通过一种随机“电机胡言乱语”的过程以自我监督的方式收集数据。在……之前

首先，我们使用初始面部标志之间的欧几里得距离数量来量化面部表情动态。我们定义了前五帧的静止面部标志，并找出与静止面部标志最大差异的那个。从其他帧到静止帧的欧几里得距离不断变化，并且是可微分的。因此，我们可以通过对面部标志的距离关于时间的二阶导数来计算表情变化的趋势。预测模型和训练过程的数据收集细节在补充材料中提供。我们使用表情变化加速度最大的那一刻的视频帧作为“峰值激活”。

为了提高准确性并避免过拟合，我们通过对周围帧进行采样来增强每个数据点。具体来说，在训练过程中，预测模型的输入是从峰值激活前后的总共九个帧中任意选取的四帧。同样，标签是从目标面部之后四帧中随机采样的。数据集包含45名人类参与者和总共970个视频。80%的数据用于训练模型，其余的用于验证。我们分析了整个数据集，得出人类通常做出面部表情所需的平均时间为0.841±0.713秒。预测模型和逆模型（仅指我们论文中使用的神经网络模型的处理速度）可以在没有GPU设备的2019款MacBook Pro上分别达到每秒约650帧（fps）和8000 fps。这个帧率不包括数据捕捉或地标提取时间。我们的机器人能够在0.002秒内成功预测目标人类面部表情并生成相应的运动指令。这个计时留给捕捉面部地标和执行运动指令以在实体机器人脸上产生目标面部表情大约0.839秒。

为了定量评估预测面部表情的准确性，我们将我们的方法与两个基线进行了比较。第一个基线随机选择在逆模型训练数据集中的一张图片作为预测。该基线数据集包含大量由电机喋喋不休生成的机器人表情图片。我们认为我们的方法优于这个基线，因为它通过泛化脸上的微妙变化而不是简单地复制最后输入帧中的面部表情来识别目标面部特征点。图4B展示了预测模型的定量评估。我们计算了预测特征点和真实特征点之间的平均绝对误差，这些特征点包括维度为113×2的人类目标面部特征点。表格结果（表S2）显示我们的方法优于两种基线方法，表现出更小的平均误差和更窄的标准误差。

结合自模型与预测模型

该过程的最后一个步骤涉及同时使用预测模型和逆模型来实现人机面部同步表情。这项任务与面部模仿不同，因为预测模型不观察目标面部，所以任务是首先预测面部表情，然后迅速生成预测的面部表情。

图1B中描述的整体流程展示了机器人如何将电机指令发送到机器人控制器以执行。参与者在目标表情出现之前，首先基于中间帧预测人类目标面部表情，然后使用逆模型在剩余时间内生成动作指令。

我们在一台2019年的MacBook Pro（英特尔酷睿i9）上运行了这两种模型，并将电机指令发送到机器人控制器进行执行。整个流程以25赫兹的频率运行。我们设计的模型非常轻量，因此我们的机器人不需要依赖GPU计算或高性能服务器。这允许未来用于其他功能（如倾听、思考和说话）的额外计算能力。

我们通过在实体机器人上运行我们的方法和模仿基线来进行了一项实验。两种方法的对比显示在图1C的图表和表S2中。在此实验设置中，时间线始于t=0，这标志着机器人和人类面部表情开始表达过程的起点。当t=n时，这代表峰值激活，并开始预测人类面部表情。目标是在t=m时实现人机面部表情同步，其中m表示机器人旨在匹配人类面部表情的目标时间。

我们对图5所示的各种人类参与者的视频进行了实验，这些视频展示了不同的面部表情。表现是根据预测模型计算得出的。输入列是机器人观察到的目标面部表情，而预测列则是机器人未能感知到的目标面部表情。真实情况图片是标准化的目标面部标志，直接放入逆模型中以生成机器人的目标面部。我们在实体机器人上执行了电机指令，并拍摄了机器人的正面照片，如实际最终机器人面部列所示，以证明我们的方法成功地让机器人仅通过面部的最初微妙变化学会预测人类目标面部。结果还表明，我们的学习框架能够跨不同的人类参与者和多样的面部表情进行泛化。

使用混淆矩阵评估面部表情预测

为了进一步评估我们机器人在预测面部表情方面的表现，我们基于面部表情的预测指令构建了一个混淆矩阵。这里的主要任务是预测能够生成目标面部表情的命令。鉴于这些命令在0到1之间进行了规范化，代表机器人脸上肌肉的激活情况，我们可以将每个命令分类为激活或未激活。每种面部表情都是由一组11个运动命令生成的，每个命令代表机器人脸上某块肌肉的激活。我们的数据集包含了214个测试样本，总共包括2354条命令。

我们将一个平静的面部肌肉作为参考点，并将目标面部命令与平静面部命令之间的L1距离大于0.25的情况定义为正样本。选择L1距离以及将命令平静面部的范围规范化为±0.25，覆盖了半个区域，即0.5。相反地，负样本被定义为这个距离在0.25以内的情况。如果预测命令落在与目标命令相同的区域内，那么它们被认为是正确的；否则，

图6直观地展示了预测过程，并比较了机器人在检测到真实正例（机器人正确预测了一个从平静脸庞上做出的灿烂笑容）的时刻。图6B展示了一个假正例，即使实际真相显示面部肌肉更平静，机器人错误地预测出了一个微笑。图6C代表了一个假负例，机器人未能预测出实际存在的面部表情。最后，图。6D展示了一个真正的阴性案例，其中用于训练h四个连续帧的ting数据集是预测模型。目标面部在大约72.2%的案例中。高正预测值被巧妙地放入逆模型中以产生机器人的正确动作，其准确率为80.5%。然而，0.462的假阴性率和0.446的假阳性率表明，在减少假阴性和假阳性方面仍有改进空间。

鉴于我们设置中的命令被规范化到0到1之间的范围，我们将平静的面部指定为原点。在这个规范化空间中，我们使用L1距离来衡量目标面部的命令与原始平静面部的命令之间的偏差。选择L1距离是因为其可解释性以及对命令维度变化的敏感性。为了区分正负样本，我们为L1距离设定了一个阈值。我们选择了0.25的阈值，确保被认为是原点±0.25范围内的平静面部区域构成总规范化范围的一半（0.5）。这个数字可以轻易地将显著变化分类为激活的命令。

讨论

我们提出了一种面部机器人，它拥有柔软的拟人化面部皮肤及其控制器，能够通过预测人类面部表情来执行同时表达。整体流程包括两个神经网络：预测模型和逆模型。我们通过与其它基线进行定量评估，展示了这两种模型的有效性。结果显示，我们的预测模型成功预测了多种人类目标的视线位置，准确率介于0到1之间；因此，

我们必须认识到，在选择机器人模仿的面部表情时必须谨慎行事。某些

表1. 面部表情预测的混淆矩阵。该表格总结了我们面部表情预测模型在总共2354个实例中的表现。它量化了模型在预测表情期间面部肌肉激活方面的准确性，显示出大约72.2%的成功率。表内包括几个关键指标：阳性预测值（PPV）、假阴性率（FOR）、假阳性率（FPR）、灵敏度（SEN）、阳性似然比（LR+）。

		Predicted condition	Predicted condition
Total population=2354	Total population=2354	Positive	Negative
Actual condition	Positive	1307	338	SEN=0.795
Actual condition	Negative	316	393	FPR=0.446
	Acc.=0.722	PPV=0.805	FOR=0.462	LR+=1.782

Downloaded from https://www.science.org/on April 06,2024

有效性。这是我们即将研究的重点领域。

此外，当前研究的一个局限性是模型预测和模仿表达时可能缺乏文化敏感性。不同的文化可能对某些面部表情有不同的规范和意义（47）。例如，尽管在许多文化中微笑通常被认为是幸福或友好的标志，但它也可能是尴尬或不确定的标志（48）。同样，直接的眼神接触在某些文化中可能被看作是自信和诚实的标志，但在其他文化中可能被认为是粗鲁或挑衅的（49）。未来的工作可以探索将文化背景整合到模型中，可能通过结合来自不同文化背景的数据集，并在算法中融入对文化规范的理解来实现。

我们还认识到，仅靠面部模仿，即使同时进行，也远远不能捕捉到人类面部交流能力的全部范围，而且当由外观像成年人的机器人执行时，甚至可能令人反感。然而，就像婴儿在学习模仿父母之后才开始做出独立的面部表情一样，我们认为机器人必须学会预见并模仿人类表情作为第一步，然后才能发展到更自发和自我驱动的表达交流（50）。

微笑、点头和保持眼神接触等面部手势通常会在人类交流中自然地得到回应，并被正面感知（40, 41）。相反，模仿如撅嘴或皱眉等面部表情应当小心进行，因为这些可能会被误解为嘲笑或传达出无意中的情绪（42）。

对其他领域的潜在影响

这项研究的潜在影响不仅限于机器人学，还扩展到了神经科学和实验心理学等领域。在欧洲科学中，镜像神经元的研究提供了一个相关例子。镜像神经元是大脑细胞，当动物行动时以及当动物观察另一只动物执行相同动作时都会激发（51）。这些神经元已被牵涉到理解他人的行为、模仿行为和同理心当中。在未来的工作中，使用这些表情作为研究镜像神经元系统的一个工具将是重要的（54）。通过与参与者互动并测量大脑活动，研究人员可以洞察社交互动和交流的神经相关性（55）。

然而，值得注意的是，在某些情境下，模仿这类表情可以被策略性地用于幽默或缓解紧张局势（43-45）。此外，同样重要的是要考虑到微笑的真实性不仅仅由它们的预期性质决定，还涉及特定的面部动作，如杜兴征象，以及时间特征，比如持续时间和衰减率（46）。

我们的主要贡献在于开发了使机器人能够做出预期面部表情的硬件和学习算法。尽管使用标准面部追踪指标定量验证了所提方法的有效性，但我们认识到，最终的成功衡量标准是这些表情如何被人类用户感知。一个重要的未来步骤是在各种情境中验证这些表情在现实世界人机交互中对人类情绪的影响，以确定它们对心理学的意义。

在实验心理学中，理解面部表情至关重要，例如，在自闭症谱系障碍（ASD）个体的教育和治疗中。ASD患者往往难以解读面部表情。能够预测和同步面部表情的机器人可以作为教育工具，帮助ASD个体发展更好的社交沟通技能。研究表明，机器人在吸引ASD儿童和促进社交互动方面是有效的。

我们使用Mediapipe（65）从图片中提取面部标志点，因为标志点的维度比原始图像低，并且在描述不同性别和种族的面部特征时具有鲁棒性。为了实现自然的人机交互，机器人需要以与人类相似的速率进行高速响应。减小观察的维度有助于减少计算所需的时间，并防止人们因耗时的数据计算而失去耐心和兴趣。在我们的工作中，我们从原始的468个面部标志点中选取了113个标志点来代表面部表情。

逆模型训练

逆模型接收机器人标志点或标准化的真人面部标志点来生成运动指令。运动指令由11个数字组成：两个用于眉毛，两个用于眼睑，六个用于嘴巴，一个用于下巴。我们将所有运动动作值规范化到[0,1]范围。维度为113 x 2的输入标志点矩阵表示113个面部点在x轴和y轴上的位置。给定输入标志点，逆模型输出11个运动值。

图6. 四种情况的视觉表示。(A) 大笑的正确预测——真阳性；(B) 错误预测微笑——假阳性；(C) 无法预测实际面部表情——假阴性；(D) 没有显著偏离平静面部的正确预测——真阴性。

能够通过面部表情预测和识别情绪对于同理心（58）也是至关重要的。同理心是有效沟通和维持社交关系的根本组成部分（59）。因此，我们认为在人们表达之前感知他们的情绪是构建更具社交适应能力的机器人的关键第一步（60）。在这项研究中，我们专注于开发一种能够预测面部表情的机器人面孔，为更真实的人机互动奠定基础。理解和优化这种互动为治疗、教育和日常沟通中的潜在应用铺平了道路。

逆模型有三个全连接层（见图7A）。前两层使用的激活函数是一种双线性修正线性单元，而最后一层是S形函数。该模型使用Adam优化器（66）以均方误差损失进行优化，并采用10^-6的学习率。

在数据收集阶段，机器人生成了对称的面部表情，我们认为这可以覆盖大部分情况并减小模型的大小。我们使用英特尔RealSense D435i捕捉RGB图像，并将其裁剪为480像素×320像素。我们记录每个电机指令值和机器人图像，形成一个没有人类标记的单个数据对。

伦理考量

我们使用上述设置创建了两个数据集，每个数据集包含1000个机器人面部表情。在第一个数据集中，机器人仅移动眼睛和眉毛；在第二个数据集中，机器人仅移动嘴巴。这种分离是因为机器人的上半部分和下半部分面部可以被独立驱动，总共可以产生100万种组合。这种增强方法提高了我们训练模型过程的效率，同时也防止了机器人过度使用电机而导致硬件问题。用于训练逆模型和已训练模型的所有数据集都提供在补充材料中。我们将每组1000种表情分为800对用于训练，200对用于验证。

最后，当我们反思机器人面部表情的进步时，我们仍然意识到与此技术相关的伦理维度。随着机器人在模仿人类行为的能力上的进化，它们获得了与人类建立更牢固联系的潜力（61）。尽管这种能力预示着从家庭助手到教育辅助工具等众多积极应用，但开发者和用户有责任行使谨慎和进行伦理考量（62）。这种技术可能被误用的潜力，如欺骗或操纵，强调了需要健全的伦理框架和治理，以确保这些创新与社会价值观和福祉保持一致（63,64）。

### 预测模型训练

预测模型在峰值激活后，基于一系列标志点生成了预测的目标标志点。该预测模型是一个残差神经网络，具有八层全连接层，通过均方误差损失和Adam优化器进行优化（见图7B）。在训练过程中，我们使用的学习率为10−5，批量大小为128。

我们构建了数据集以使用MMI面部表情数据库（67, 68）来训练预测模型。该数据库包含2900个视频，涉及75名年龄在19至62岁之间的人类参与者，制作了79组表情序列。这些人类参与者属于欧洲、亚洲或西班牙裔/拉丁裔种族。需要注意的是，尽管这个数据集提供了一系列的面部表情和一些参与者的种族多样性，但它并没有全面涵盖所有全球种族的代表性。训练数据集的选择受到我们机器人硬件能力的限制。例如，我们的机器人无法实现噘嘴、伸舌头和鼓腮等面部表情，我们手动移除了此类数据，以形成一个更能代表我们机器人能力的数据集。

在我们选取的970个视频中，有756个视频用于训练，剩余的214个视频按照每个参与者80:20的比例分配用于训练和验证，因为每个参与者提供的视频数量不同（例如，参与者#18提供了83个视频，但参与者#25仅提供了2个）。该方法使我们的团队能够确保训练和验证数据的平衡且具有代表性分布，从而使得模型表现更为稳定可靠。在我们的补充材料中，我们使用不同的数据分割方法进行了两次额外的五折交叉验证测试，以评估我们模型的性能。在将数据分为训练集和测试集后，我们从峰值激活前后的四个表情帧中提取了地标点。这产生了一个单一的输入数据，大小为9 x 113 x 2，代表来自多个帧的串联地标点。每个标签数据的大小为4x113x2，由从目标人脸帧及其后三个帧中提取的地标点组成。在训练预测模型时，我们从每个输入数据中采样四组地标数据，并从标签数据中采样一组地标数据来形成一个数据对。通过这种数据增强方法，理论上我们可以构建1,629,600对数据。逆模型和预测模型都是用PyTorch实现的神经网络（69）。我们在补充材料中提供了关于预测模型训练的所有细节，包括数据集和训练好的模型。

预测模型数据生成

我们用人类面部表情视频训练了我们的预测模型。在本节中，我们描述了如何生成用于测试的数据。我们选择分割d标记来代表人脸，通过计算每一帧中面部标记与静止面部标志之间的距离来量化人脸的变化。在7A中，我们利用Savitzky-Golay滤波器（70）对原始数据曲线进行平滑处理。该平滑曲线的峰值对应的帧被识别为目标人脸，即与静止人脸偏差最大的脸。然后，我们计算处理曲线的二阶导数来描述面部部位变化的加速度。这个新曲线的最大值是峰值激活，如图8B所示。为了提高数据效率并使性能更加稳健，我们将峰值激活周围的数据作为输入数据和目标人脸作为标签数据进行采样。

标准化算法

机器人的运动空间与人类不同，因此为了让机器人使用人脸数据进行训练得到的模型符合人脸的输入数据，我们需要一个将人脸标志映射到机器人面部标志的标准化过程，如图S1所示。这是必要的，因为人的运动范围可能超出机器人的运动范围。此外，由于不同人的人脸运动空间不同，标准化过程可以产生更通用的结果。我们可以通过使用以下方程对人脸标志LH​进行标准化，以获得机器人空间中的标志LR​。

 ifLH​−Hs​>0:LR​=Min((Rmax​−Rs​),(LH​−Hs​))×K+Rs​(1)

如果 LH​−Hs​>0：LR​=Min((Rmax​−Rs​),(LH​−Hs​))×K+Rs​(2)

其中 Hs​,Rs​,Rmax​和 Rmin​代表人类和机器人静止时的面部表情，以及逆向模型数据集中地标空间位置范围的机器人值。K 是调整地标映射比例关系的缩放因子。这种归一化方法与之前的工作不同（71），在之前的工作中，不需要计算人类的移动范围和机器人的移动范围，因此机器人可以直接进行归一化，无需从人类那里收集此类先验信息（人类面部移动范围）。

机器人学习人类表情将更加准确，因为机器人和人类的表情将在同一量表上。

伦理审批与参与同意

本研究涉及使用第一作者Y.H.的可识别图像，其已明确同意在不匿名的情况下发布这些图像。由于研究没有直接涉及其他人类参与者，因此本工作不需要更广泛的伦理审批要求。

关于使用MMI面部表情数据库，我们遵守了数据库最终用户许可协议（EULA）（68）所规定的要求。该数据库可供学术科学界非商业用途免费使用，条件是用户注册并同意EULA。本协议明确允许在学术用途中使用数据库中包含的图像，包括出版和展示，前提是所描绘的参与者已授权此类使用。该数据库可通过网址http://mmifacedb.com访问，用户需要在获得材料访问权限前注册并同意《最终用户许可协议》。

通过专门使用已获得（第一作者）明确同意的图像，并依赖符合伦理研究标准的开源数据库，本研究维护了学术研究中的同意和伦理原则。

统计分析

我们使用Python（版本3.9）进行统计分析。我们将我们的逆向模型的性能与三个基线进行比较：随机指令、随机人脸和最近邻搜索。

图8. 训练预测模型的数据。

（A）原始数据由每一帧中面部标志点与静止人脸的面部标志点之间的距离组成，使用均方误差（MSE）方法计算。静止人脸的面部标志点是前五帧的平均值。对原始数据进行平滑处理后，我们得到了作为蓝色曲线的处理数据。在训练预测模型时，我们从曲线上的绿色点所示的输入帧中采样输入数据，并将其中一个目标帧采样为标签。（B）面部变化的加速度。灰色点的峰值激活是该曲线的最大值。

于2024年4月6日从https://www.science.org下载

静止人脸

峰值激活

目标人脸

使用包含45,200个样本的数据集。同样，我们评估了我们的预测模型与两个基线（随机搜索和模仿）的效果比较，使用214种不同的表情，针对面部标志进行测量。对于这两种情况，我们通过计算标准差、标准误和95%置信区间来进行详细的统计分析，以确保对模型性能的稳健评估。我们进行了t检验，以比较我们的方法与模仿基线之间的平均预测误差。我们设定显著性水平为0.05，以确定这两组独立样本的平均值之间是否存在统计学上的显著差异。为了评估我们预测模型的泛化能力和稳健性，我们使用了五折交叉验证测试，以两种不同的方式进行：基于视频样本和基于参与者。此外，我们构建了一个混淆矩阵，以评估模型预测面部表情指令的能力，使用L1距离来分类面部肌肉的激活。

补充材料

该PDF文件包括：

补充方法

图S1至S4

表S1至S5

参考文献（73,74）

本稿件的其他补充材料包括以下内容：

电影S1至S4

MDAR可复现性检查清单

参考文献及注释

1. C. Frith，《面部表情在社会互动中的作用》。《皇家学会哲学交易·生物科学杂志》364卷，第3453-3458页（2009年）。

2. T. L. Chartrand, J. L. Lakin，《人类行为模仿的前因后果》。《年度心理学评论》64卷，第285-308页（2013年）。

3. U. Hess, A.费舍尔，《情感模仿作为社会调节》，《个人与社会心理学评论》第17卷，第142-157页（2013年）。

4. S.G.沙马伊-佐特里、J.阿龙-佩雷茨、D.佩里，《两种同理心系统：在额下回与腹内侧前额叶损伤之间情感与认知同理心的双重分离》。《大脑》第132卷，第617-627页（2009年）。

5. C.D.弗里斯、U.弗里斯，《心智化的神经基础》。《神经元》第50卷，第531-534页（2006年）。

6. S.加罗德、M.J.皮克林，《联合行动、互动对齐与对话》。《顶级认知科学》第1卷，第292-304页（2009年）。

7. E.G.克伦穆勒、A.S.R.曼斯泰德，《杜兴式微笑能假装吗？关于真实与虚假微笑的新证据》。《情感》第9卷，第807-820页（2009年）。

8. E.J.穆迪、D.N.麦克林托什、L.J.曼恩、K.R.韦瑟，《不仅仅是模仿？情绪对快速面部反应的影响》。《情感》第7卷，第447-457页（2007年）。

9. L.K.布什、C.L.巴瑞、G.J.麦克休戈、J.T.兰泽塔，《面部控制与面部模仿对喜剧表演主观反应的影响》。《动机与情感》第13卷，第31-52页（1989年）。

10. U.迪姆伯格，《对面部表情的面部反应》。《心理生理学》第19卷，第643-647页（1982年）。

11. D.N.麦克林托什、A.赖曼-德克勒、《P.维斯林克曼》、《J.L.威尔巴格》、《当社交镜子破碎时：自闭症中情感面部表情的自动模仿缺陷，而非自愿模仿》。《发展科学》第9卷，第295-302页（2006年）。

12. T.L.查特兰、J.A.巴格，《变色龙效应：感知-行为联系和社会互动》。《个性与社会心理学杂志》第76卷，第893-910页（1999年）。

13. A.莫尔斯、P.C.艾尔斯沃思、K.R.谢勒、N.H.弗里达，《情绪评价理论：最新进展与未来发展》。《情绪评论》第5卷，第119-124页（2013年）。

14. J.L.拉金、V.E.杰弗里斯、C.M.程、T.L.查特兰，《变色龙效应作为社会粘合剂：无意识模仿的进化重要性证据》。《非言语行为杂志》，第27卷，第145-162页（2003年）。

15. 查尔斯·达尔文、彼得·普罗德格，《人类与动物的情感表达》（牛津大学出版社，1998年）。

16. R.E.杰克，《文化与面部表情》。《视觉与认知科学》，第21卷，第1248-1286页（2013年）。

17. R.E.杰克、O.G.B.加罗德、H.于、R.卡拉达拉、P.G.谢恩斯，《面部表情并非文化普遍》。《美国国家科学院院刊》，第109卷，第7241-7244页（2012年）。

18. N.C.艾伯纳、M.里迪格、U.林登伯格，《FACES——一个包含年轻、中年和老年女性及男性面部表情的数据库：开发与验证》。《行为研究方法》，第42卷，第351-362页（2010年）。

19. R.E.杰克、C.布莱斯、C.谢珀斯、P.G.谢恩斯、R.卡拉达拉，《文化混淆显示面部表情并非普遍》。《当代生物学》，第19卷，第1543-1548页（2009年）。

20. P.埃克曼，《面部表情与情感》。《美国心理学杂志》，第48卷，第384-392页（1993年）。

21. A.J.弗里德隆德，《人类面部表情：一种进化视角》（学术出版社，2014年）。

22. L.F.巴雷特、R.阿道尔夫斯、S.马塞拉、A.M.马丁内斯、S.D.波拉克，《重新审视情感表达：从人类面部运动推断情感的挑战》。《心理科学公共兴趣》，第20卷，第1-68页（2019年）。

23. E.克鲁姆胡贝尔、A.卡帕斯，《移动的微笑：动态成分在微笑真实性感知中的作用》。《非言语行为杂志》，第29卷，第3-24页（2005年）。

24. C.L.布雷齐尔，《“社交机器：人类与机器人之间的富有表现力的社会交流”》，麻省理工学院博士论文，马萨诸塞州剑桥市（2000年）。

25. L.F.巴雷特、M.刘易斯、J.M.哈维兰-琼斯，《情绪手册》（吉尔福德出版社，2016年）。

26.冯X., 魏Y., 潘X., 邱L., 马Y., 一种大规模在线学习环境下的学术情绪分类与识别方法——基于A-CNN和LSTM-ATT深度学习流程方法。《国际环境研究与公共卫生杂志》第17卷，第1941页（2020年）。

1. R.L. Birdwhistell，《肢体语言与语境：身体动作交流论集》（宾夕法尼亚大学出版社，2010年）。

2. J.N. Bailenson，《非言语负荷：对Zoom疲劳成因的理论论证》。《技术与心理行为》第2卷，第10.1037/tmb0000030号（2021年）。

3. E. Peper, V. Wilson, M. Martin, E. Rosegard, R. Harvey，《避免Zoom疲劳，保持在场并学习》。《神经调节》第8卷，第47-56页（2021年）。

4. K.A. Karl, J.V. Peluchette, N. Aghakhani，《COVID-19大流行期间的虚拟工作会议：好、坏、丑》。《小组研究》第53卷，第343-365页（2022年）。

5. H.S. Ahn, D.-W. Lee, D. Choi, D.-Y. Lee, M. Hur, H. Lee，《应用人类面部肌肉机制设计安卓头部系统》，在2012年第12届IEEE-RAS人机交互国际会议（Humanoids 2012）（IEEE，2012年），第799-804页。

6. W.T. Asheber, C.-Y. Lin, S.H. Yen，《具有可扩展表情的人形头部面部机制》。《国际先进机器人学杂志》第13卷，第29页（2016年）。

7. H. Kobayashi, F. Hara，《动画3D面部机器人与人类之间的面部互动》，在1997年IEEE系统、人与控制论国际会议。计算控制论与仿真（IEEE，1997年），第3732-3737页。

8. D. Loza, S. Marcos Pablos, E. Zalama Casanova, J. Gómez García-Bermejo, J.L. González，《面部动作编码系统在设计与构建具有逼真外观的机电一体化头部中的应用》。《物理代理学杂志》第7卷，第31-38页（2013年）。

9. K. Berns, J.赫尔斯，《仿人机器人头部面部表情控制》，2006年IEEE/RSJ智能机器人与系统国际会议（IEEE，2006年）。

10. 桥本智、日立松章、辻俊、小林宏，《开发用于丰富面部表情的面部机器人SAYA》，2006年SICE-ICASE国际联合会议（爱思维尔，2006年），第3119-3124页。

11. 桥本智、日立松章、小林宏，《利用活体面膜在制作的机器人上动态展示面部表情》，2008年第8届IEEE-RAS国际人形机器人会议《人形机器人》（IEEE，2008年），第521-526页。

12. 陈晨、加罗德·奥古斯都·布赖恩、詹俊波、贝斯科·约翰、谢恩斯·彼得·格哈德、杰克·理查德·埃里克，《逆向工程心理上有效的情绪表情以应用于社交机器人》，2018年第13届IEEE国际自动面部与手势识别会议（FG 2018）（IEEE，2018年）。

13. 陈晨、亨塞尔·莱因哈德、段宇、英克·雷纳德·阿诺德、加罗德·奥古斯都·布赖恩、贝斯科·约翰、杰克·理查德·埃里克、谢恩斯·彼得·格哈德，《使用数据驱动方法为社交机器人配备文化敏感的情绪表情》，2019年第14届IEEE国际自动面部与手势识别会议（FG 2019）（IEEE，2019年），第1-8页。

14. 格罗斯·约书亚·J，《情绪调节：情感、认知和社会后果》。《心理生理学》第39卷，第281-291页（2002年）。