从准社会共识采样学习反馈预测模型

### 从准社会共识采样学习反馈预测模型 在虚拟人类行为研究领域，其行为对于实现社会效应的重要性愈发凸显。传统的虚拟人类非语言行为生成依赖手工算法，而如今数据驱动的方法逐渐兴起，旨在从人类面对面交互的标注语料库中自动学习虚拟人类行为。不过，以自然的人类交互数据作为学习虚拟人类行为的理想数据集存在一些弊端。 #### 自然交互数据的弊端 - **收集成本高**：自然数据的收集既昂贵又耗时。 - **行为样本冲突**：人类行为具有可变性，部分行为样本可能与我们期望虚拟人类产生的社会效应相冲突。 - **缺乏泛化性**：面对面交互中的每个实例仅展示了特定个体对另一个体的反应，无法让我们了解这种反应在不同个体间的泛化程度。 为解决这些问题，提出了一种名为准社会共识采样（Parasocial Consensus Sampling，PCS）的新型数据收集方法。 #### 准社会共识采样（PCS） - **概念**：该方法源于人们与媒体中人物进行准社会交互的自然倾向，即人们会像与真实人物面对面交流一样与媒体中的人物互动。PCS通过引导多个独立个体对相同的社会交互媒体表示进行准社会体验，以获取人类反应的典型性（即共识观点）。 - **定义要素**： 1. **交互目标**：虚拟人类交互行为的预期目标，例如建立融洽关系。 2. **目标行为响应**：虚拟人类为实现特定交互目标而产生的特定响应或一组响应，如反馈、轮流发言、评价性面部表情和副语言等。 3. **媒体**：呈现给参与者以激发其准社会反应的刺激集，理想情况下是来自自然面对面交互的媒体片段，参与者能从第一人称视角观看。 4. **目标人群**：虚拟人类希望学习的个体群体，参与者应从该目标人群中招募。 5. **测量渠道**：测量准社会反应的机制，如视觉渠道（录像）、音频渠道（语音记录）或机械渠道（按按钮）。 #### PCS收集听众反馈数据的应用 为了学习预测听众反馈的概率模型，将PCS应用于收集听众反馈数据，具体定制如下： |要素|详情| | ---- | ---- | |交互目标|建立融洽关系| |目标行为响应|反馈| |媒体|预录制视频| |目标人群|普通公众| |测量渠道|键盘| 招募了9名流利的英语使用者参与与预录制人类说话者视频的准社会交互。参与者被要求假装在视频电话会议中与说话者交流，并通过按键盘来提供反馈。在一天的实验中，每个参与者与45个视频进行交互，共给出约18000次反馈，