人机融合智能 | 人类认知和行为的计算建模

认知和行为的计算建模是一个多学科交叉领域,涵盖数学、心理学、认知科学、神经科学和机器学习等学科知识。该领域通过数字化的方法来模拟人类的认知和行为,并预测这些过程的结果。这样的模拟研究可以帮助人们理解人类的思考方式,并最终探究认知和行为背后的神经机制。本文通过介绍基础认知和社会情境下的认知和行为的计算建模,概述如何通过计算建模来研究和预测人类的社会行为,阐述计算建模所依赖的基础理论和常见模型。最后,对在人智交互中运用认知和行为的计算建模的研究方向进行展望。

01、引言

长期以来,认知科学家致力于了解人类大脑的运作机制,试图通过各种途径描述、解释、预测并控制人类行为。随着技术的进步,对人类认知与行为的研究从对单纯的现象描述转向对数据测量与神经生理的探索。近年来,一个以采用数据建模为手段,借助数字化数据模拟、研究人类认知和行为的领域应运而生。在过去的二十年里,人们对认知和其他心理过程的数学模型的兴趣大大增加。研究者可以基于这些模型,根据不同的输入和输出条件进行模拟和预测。计算建模在验证传统心理学理论的有效性方面发挥着关键作用,同时有助于构建和发展基础理论,从而促进对语言、思维、决策等心理过程背后的行为和神经机制的深入理解。

在认知与行为计算建模领域,研究者常运用多样化的实验范式、技术与工具收集数据,并用来发展数学与计算机模型(deGelder& PoyoSolanas , 2021 ; Lindströmetal., 2021 ; Tenetal. , 2021 ;Petzschneretal., 2021 )。除对基础心理过程的研究,计算建模可进一步推广至复杂的社会情境,以揭示人类在复杂社会互动中的认知过程与行为决策。计算模型不仅能通过定量数据模型诠释现象,还能模拟人类认知与行为,进而在人际交往与人机交互等更加复杂的社会化场景中发挥作用。

本文首先介绍人类心理认知与行为过程及其计算建模理论,梳理两大计算建模基础思路,之后从基础心理过程出发,阐释计算建模的原理并探讨一般心理过程。在此基础上,深入探讨广泛社会行为背景下计算建模的应用及相关理论模型,重点剖析多种决策行为计算建模的方法与核心思想。此外,本文还将关注人工智能领域认知与行为计算建模的实际应用方式,以期实现计算建模从理论到实践的跨越。

02、认知和行为计算建模的两种思路

在认知行为的计算建模领域,研究者通常采用两种不同的思路来构建和分析模型,这两种思路分别是自上而下和自下而上的建模。这两种方法各有特点和优势,具体取决于研究问题的性质以及研究者的目标和偏好。

2.1  自上而下的计算建模

自上而下的计算建模是指基于特定理论假设和框架,通过分析和模拟整体的行为模式,推导出单个心理过程的行为模式或决策过程的方法。这种方式的优点是研究者可以更好地构建符合行为理论的模型,从而验证理论假设,同时对数据要求低,更加依赖于研究者的设计与核心概念的拓展。这种建模思路在单个个体层面,与传统认知理论的知觉加工过程的概念驱动加工类似,例如在跨通道整合理论中的基于相加性这一核心假设构建模型并推导出更加广泛的整合方式。跨通道整合理论(cross-modalityintegrationtheory )主要用于解释如何在不同感觉通道(视觉、听觉、触觉等)之间进行信息整合。在这个领域中,相加性(additivity )是一种关键概念,它表达了不同通道信息之间相互作用的方式,可以将其理解为不同感觉通道之间的信息在整合过程中是相互独立、互补的,没有拮抗或竞争的关系。在这种情况下,跨通道信息的整合可以认为是各个通道信息的简单相加。换句话说,每个通道的信息提供了一个独立的贡献,总体的感知强度等于各个通道贡献之和。例如,当我们同时通过视觉和听觉信息判断一个物体的大小和距离时,视觉和听觉信息的整合可以看作是相加的。通过对于相加性这一核心假设进行模型建构的思路推导出更加广泛的整合方式,这就是自上而下的建模思路在实际应用中的体现。基于这一相加理论假设,研究者可以对来自左右视听通道的信号强度进行计算推断(Coenetal., 2023 )。基于独立的视觉证据( V )和听觉证据( A ),刺激物在右边或左边( R 或 L )的对数概率是一个函数之和。刺激物在右边或左边( R 或 L )是一个函数的总和,每个函数只取决于一种模态(视觉 V 或者听觉 A ),如式( 3-1 )所示。

需要注意的是,相加不是唯一的跨通道整合方式。在某些情况下,信息整合可能表现为拮抗或竞争关系。例如,听觉和触觉信息在特定场景下(如橡胶手套触摸实验)可能导致不一致的感知效果,此仅作为自上而下计算建模的一个例子。

人的社会行为中的自上而下的计算建模可以帮助人们深入理解社会系统的整体行为。同时,这类计算建模的核心在于促进个体行为的预测和管理( Guest& Martin , 2021 ),可以推导出单个个体的行为模式和决策过程,从而更好地预测单个个体或事件的未来发展趋势、评估政策效果等,为个体行为的管理提供数据结论参考,并提高决策的科学性和有效性。

2.2  自下而上的计算建模

自下而上的计算建模是指基于对低层次感知过程的和决策过程的理解,通过计算模拟来推导高层次和整体行为的过程。在传统认知理论中,自下而上的计算建模与数据驱动加工思路相同,并与概念驱动加工相对应。这种数据驱动加工也称为自下而上加工,作为信息加工方式的一种,这种理论认为认知加工是由外部刺激开始和推动,其特征从构成知觉基础的较小知觉单元发展为推测较大知觉单元,即从较低水平的加工到较高水平的加工。得益于此,自下而上的加工可以更好地涵盖整体的数据,更加全面地利用所获得的信息,例如模式识别理论中的特征分析模型就采用这种加工模式。

具体来说,人类从社会环境中可以感觉到的信息开始获取,继而将多种信息以整合的方式形成具体的知觉。部分认知心理学家认为,人类获得的感觉信息就是其知觉加工所需要的一切,而这个过程中并不一定需要其他复杂的思维推理或其他高级认知加工过程的参与,人类便可以直接知觉到周围的社会环境。自下而上的建模方式即通过多种刺激所获得的信息进行逐渐积累,随着时间推移最终做出决策并形成模型。

自下而上的建模方法基于认为人类的认知和行为是由大量基本元素的互动组成的,这些基本元素可以是神经元、感知器、动作单元等。系统通过对这些基本元素进行连接、交互和学习,逐渐形成更高级的认知和行为表现。在 AI 领域,我们可以想象一个模拟机器人的情景,该机器人具有视觉传感器、触觉传感器和运动执行器。初始机器人对环境一无所知,它只能通过传感器获取原始的感知数据。在自下而上的建模过程中,机器人的底层模块处理这些原始数据,例如边缘检测、颜色分割和物体识别。这些底层模块在感知数据上运行,提取出环境中的基本特征。随着时间的推移,机器人的中层模块将这些基本特征组合起来,形成更高级的知觉结构,例如物体的形状、位置和运动。这些中层模块在感知数据的基础上进行抽象和整合,以获取更高层次的认知信息。最后,机器人的顶层模块将这些认知信息用于决策和行为生成,它可能基于物体的位置和运动决定自己的导航路径,或者基于物体的形状和属性做出抓取动作。

在整个自下而上的建模过程中,机器人的认知和行为能力逐渐增强,从最基本的感知数据逐步构建起更高级的认知表示和复杂的行为表现( H Qiaoetal. , 2022 )。这种方法允许机器人根据实时感知和环境反馈进行自适应学习和决策,从而更好地适应不同的任务和环境。

总体而言,两种计算建模的思路相互对应,但在原理上并不是非此即彼,而是各自有其支持的理论与适用的领域。在人类的认知加工过程中,通常认为同时存在自上而下和自下而上的加工模式,两种加工过程相互协调作用以形成完整的信息加工模型。而在研究具体问题时需要根据研究的实际领域与具体需要选择模型并加以运用,不同的计算建模思路代表了理念基础与数学依据。在研究认知与行为过程中运用计算建模时,首先需要了解基础认知与行为的具体领域及相关模型。接下来我们将从计算建模的流程和如何选择具体的模型开始进一步的介绍与讨论。

03、认知和行为计算建模流程和模型选择

在了解两种的不同建模思路后,接下来,我们将具体介绍认知和行为计算建模流程和选择模型的方法。如图 3.1 所示,建构计算建模和模型选择往往存在四部分,即实验设计、模型探索、模型分析与模型选择。在模型探索和分析的过程中,数据和计算模型之间(或者说,人与模型之间)没有直接的联系。因此,我们的推断是基于模型预测和数据的相互匹配,以及对假设、参数和模型预测之间关系的理解所得出的。

3.1   模型探索

模型探索即寻找探索一种我们希望达到预期效果的模型,而恰恰使用模型的一种方式就是检查我们对模型的理解是否正确,例如某种操作是否可以生成预期的行为。为了理解模型探索的过程,首先我们需要了解模型探索的必要,例如 Sprenger 等( 2011 )在 HyGene 模型中模拟了编码时注意力分散对编码的影响。在该模型中,个体基于对以往经验的记忆,被认为以往经验的记忆是产生观测结果的原因。同时,他们发现判断时的注意力分散会增加可加性,这表明概率判断的比较过程存在容量限制。但之后的实验结果却与 HyGene 模型的预测相反,在编码阶段的注意力分散会导致后续在全神贯注状态下做出的概率判断增加。编码过程中注意力分散对判断的影响完全由参与者提出的假设数量所中介,这表明编码和回忆中的限制可以形成判断的偏差。这个例子说明了模型如何产生意想不到的结果,以及模型探索的路径与必要性。

在了解了模型探索的重要性后,如何进行模型探索是最核心的问题。在认知科学的模型应用综述论文中, McClelland (2009 )同样通过一个例子来体现模型探索的过程,这个例子源自他自己的工作( McClelland , 1979 )。McClelland 构建了一个模型,该模型假设信息加工过程是分阶段进行的,但这些阶段并不是离散的,因为信息是连续地从一个阶段传递到下一个阶段的。该模型考虑了一系列阶段,每个阶段都包含一组简单的加工单元,这样在级别 1 的给定单元 i 的激活被视为由值之间的差异引起的驱动,该值表示输入驱动单位到达时间的激活水平,由所有 j 在级别 1 索引的单元及其当前激活,如式(3-2 )所示。

其中,常数 1 称为速度常数,其表示单位的响应速率,表示单位在 t 时已经达到的激活水平。McClelland 发现,改变每个阶段的参数(例如激活变化率)通常会导致反应时间的叠加变化。由于反应时间的 叠 加 变 化 被 认 为 是 辨 识 不 同 离 散 加 工 阶 段 的 典 型 指 标 ( Sternberg , 1975 ),因 此McClelland 的发现具有重要意义,它强调了尽管离散模型可以预测反应时间的叠加变化,但表面上的叠加变化并不意味着潜在的分离的加工阶段。这是一个如何探索模型的真实过程来展现模型探索的过程。

在此之外,模型探索不仅可以加强对模型工作方式的理解,还有可能为某个领域提供新见解。当研究者对一个系统进行推理并对其有了一定的了解时,概念模拟或思维实验将在其中发挥着重要作用(如 Nersessian , 1992 , 1999 ; Trickett& Trafton , 2007 )。模型探索并不是简单地得到一个符合人的认知的模型或利用人的认知调整模型,认知模型的基本目标是超越人类思维的限制,以便对心理过程进行深入调查。这些模型允许研究者探索那些仅通过人们的思考而无法完全理解的思维过程。基于这种类型的观察,从中推断出对人类认知特征的影响。 Chandrasekharan 和 Nersessian (2014 )指出,在建立模型的过程中,通过运行更复杂、更抽象的仿真,促进研究人员和建模者之间的互动,将有助于研究人员得出更多新的发现。

3.2   模型分析和测试

在通过酝酿建立一个模型后,需要对模型进一步进行分析测试。通过对某一特定参数的操作控制可以分离出特定过程中这个因素对模型预测的贡献( Guest& Martin , 2021 )。在设计或探索出一个备选模型后,研究者需要利用数据或和与其作为对比的模型以及其他方式对其进行进一步的分析和测试,以验证模型是否能够模拟或预测人类的认知或行为。

但有趣的是,当一个模型未能完全预测到人类认知行为的某些方面时,这既是一个挑战,也是一个机会。挑战在于确定模型失败的原因:由于模型是对一系列想法的探索,因此我们并不清楚这个系列中的哪些成分与模型缺陷有关。模型的失败也提供了一个机会:当一个模型失败时,它使我们能够将注意力集中在犯错的地方,从而推动进一步进展。Lewandowsky 的序列 记 忆 的 动 态 分 布 模 型 就 是 一 个 典 型 例 子 (Lewandowsky & Stephan ,1999 )。这个模型属于联结主义模型,它认为项目被存储在一个自联想网络中,并且根据它们的编码强度以及它们在列表上的其他项目所提示的程度来进行竞争性回忆。Lewandowsky 模型和其他模型(例如,Farrell&Lewandowsky , 2002 ; Henson , 1998 ; Page& Norris , 1998 )都认为回忆项目之后紧跟着的是反应抑制(responsesuppression ),该现象会限制进一步的回忆。在 Lewandowsky 的模型中,一旦个体回忆了某个项目之后,随后会发生部分遗忘(partiallyunlearning )。之后, Lewandowsky(1999 )声称,他的模型中的反应抑制和连续回忆中的近因效应有关,即列表中最后一两个项目的回忆准确度变高。当回忆最后几个项目时,大多数其他回忆内容(列表上的其他项目)已经从回忆资源的竞争中消失,这为最后几个项目的回忆提取提供了优势。为了证实这一点, Lewandowsky 改变了反应抑制的程度并进行模拟,结果发现再现的结果加强了模型中反应抑制和新近项目之间的联系;随着反应抑制程度的降低,最后几个项目的回忆准确性也会降低。反应抑制和近因性之间的潜在关系已经得到了实证支持(Farrell&Lewandowsky , 2012 )。这个例子同时说明了如何对于模型进行进一步的测试和分析,尽管对于模型的分析测试可能不一定会得到预期的结果,但却是整个过程中必不可少且承上启下的过程。

3.3    模型的选择

通常,对于同一认知和行为的建模方式不止一种,因此如何在相互竞争的模型中进行选择是核心问题。

研究者已经提出了一些用于评估模型的标准。Jacobs 和 Grainger (1994 )对这些标准进行了很好的总结,包括:(1 )可信性:模型的假设是否在生物学和心理学上合理?

(2 )解释的充分性:理论解释是否合理并与已知情况一致?

(3 )可解释性:模型及其组成部分(例如参数)是否有意义? 是否易于理解?

(4 )描述的充分性:模型是否对观察到的数据有很好的描述能力?

(5 )泛化能力:模型是否能很好地在不同情景下预测数据特征?

(6 )复杂性:模型是否以最简单的方式捕捉现象?

这些标准的相对重要性可能会随着所比较的模型类型而变化。现有计算模型可能已经在一定程度上满足了前三个标准,并在其发展的早期达到了一定的可接受程度。因此后三个标准成为评价它们的主要标准。从定量方法的发展中可以看出目前模型研究对后三个标准的强调和重视。

首先,就检验模型的可信性而言,数学理论的实例化提供了一个测试平台,研究人员可以在这个平台上详细检查模型各部分的相互作用和精确度,这是单纯的口头理论模型所无法达到的。此外,通过对建模的个体行为的系统评估,可以获得对模型是否准确可行的评估。建模的目标是推断行为数据中认知过程的结构和功能属性。在最基本的层面上,数学模型是关于过程结构和功能的一组假设。

模型的充分性首先通过测量其再现真实数据的能力来评估。如果模型在这方面表现出色,下一步就是与竞争模型进行性能比较。在选择竞争模型的模型选择方法中,必须准确地衡量每个模型近似心理过程的程度。如果选择的一种模型实际上是研究者刻意对自身感兴趣的潜在过程进行的近似模拟,则可能产生错误的研究结果。简而言之,模型选择方法应与其建模的认知过程相适应。

在本节中,我们将介绍一些定量模型选择方法,这些方法在理论上具有坚实的基础,并且能够明确解释为何选择一个模型而不是另一个。我们的目标是为模型选择问题提供一个概念性理解和解决方案,因此只讨论最重要和最新的技术进展。对于更深入的数学处理,可以参考其他文献以获取更多信息( Myung& Pitt ,1997 , 1998 ; Myungetal.,2000 ; Myungetal., 2001 )。

在介绍了模型选择问题以及将模型的复杂性确定为关键属性后,我们介绍了模型比较。在这个过程中,我们通过计算并比较每个模型的特定指标,例如, AIC ( AkaikeInformationCriterion ,赤池信息准则)、BIC (贝叶斯信息准则)及贝叶斯因子,从而找到最佳模型。具体而言,贝叶斯因子等指标为我们提供了每个模型的假设对于解释数据必要性的相对证据。如果我们发现模型 A 具有较大的贝叶斯因子,那么相当于在一组模型比较中,获胜模型 A 所包含的机制对于解释数据是必要性较强的。然而,有时建模结果中存在一些不确定性,贝叶斯因子更模糊(接近 1 )。在这种情况下,我们无法对模型A 解释数据的能力做出任何强有力的判断。一个模型往往要与多个备选模型进行比较(例如, Ratcliff&Smith , 2004 ; Ronaldetal., 2014 ),在指标上表现最优的模型胜出。