认知层次结构中的可组合性

### 认知层次结构中的可组合性 在认知系统的构建中，如何有效地组织和整合不同的认知节点是一个关键问题。本文旨在通过引入行为等价性和节点组合的概念，为解决这一问题提供一种新的方法。以下将详细介绍相关内容。 #### 1. 相关工作 构建推理系统时使用层次结构在机器人技术和人工智能领域有着悠久的历史。这些方法大致可分为两类： - **固定语言方法**：采用特定的表示语言，如流行的认知架构SOAR和ACT - R，使用基于符号的表示；还有基于逻辑的Nilsson的三层塔架构，以及用微分方程形式化的机器人聚焦双动态（DD）分层行为系统。不过，固定语言系统的表示语言会限制可表达问题的类型，例如SOAR和ACT - R的语言难以表示机器人定位的概率不确定性，DD系统的微分方程难以进行传统逻辑推理。 - **非正式描述方法**：以有影响力的机器人控制系统（RCS）模型为例，仅由文本描述和图表组成；开创性的包容架构使用有限状态机表示层次结构中的各个级别，但将这些级别集成到整个系统的过程是完全非正式的。近期用于处理传感器数据的SOAR扩展也是如此。这种方法的弱点在于无法证明系统整体的属性，且非正式系统的架构属性与任意实现决策产生的属性之间没有明确区分。 与层次结构构建密切相关的是问题分解的概念，其在层次规划中表现出明显的优势。更一般的因子规划概念涉及将一个领域分解为可独立求解的子领域，并将各子领域的解组合起来。在通用游戏领域，游戏被分解为可独立求解的子游戏，确保组合解能解决原始游戏。作为分解的对偶，行为组合考虑从现有行为合成目标行为，但这里的原始行为在共同的过渡系统上操作，而通用游戏中的组合考虑在不同过渡系统上的组合。本文的工作在意图上更接近通用游戏中的子游戏组合。 #### 2. 形式化架构 为避免现有形式化模型的弱点，采用元理论方法对认知层次结构进行形式化，在不涉及单个节点内部表示和推理机制的情况下，形式化层次结构中认知节点之间的交互，该框架与现有层次方法互补。 ##### 2.1 节点 认知层次结构的最基本组成部分是节点，节点的任务是实现目标或最大化未来价值，主要有两个功能： - **世界建模**：通过维护信念状态来实现，信念状态通过从较低级节点进行感知（即提取观察值的过程）来更新。 - **行为生成**：通过一组策略实现，策略将状态映射到一组动作，当前策略由较高级节点的动作决定。选定的一组动作也可以更新信念状态，通常称为期望更新。 **定义1**：认知语言是一个元组$L = (S, A, T, O)$，其中$S$是一组信念状态，$A$是一组动作，$T$是一组任务参数，$O$是一组观察值。认知节点是一个元组$N = (L, Π, λ, τ, γ, s_0, π_0)$，满足： - $L$是$N$的认知语言，初始信念状态$s_0 \in S$。 - $Π$是一组策略，对于所有$π \in Π$，$π : S \to 2^A$，初始策略$π_0 \in Π$。 - 策略选择函数$λ: 2^T \to Π$，使得$λ(\{\}) = π_0$。 - 观察更新算子$τ : 2^O × S \to S$。 - 动作更新算子$γ : 2^A × S \to S$。 这个定义非常抽象，只捕获节点之间的交互，对内部表示和推理机制没有限制，例如可以创建符号节点来编码逻辑规划器，或随机节点来编码用于机器人定位的卡尔曼滤波器。 ##### 2.2 认知层次结构 模型中的节点在层次结构中相互连接，最低级节点对应与现实世界的接口，由物理传感器和执行器组成。感知数据沿抽象层次结构向上传递，而动作沿层次结构向下发送，最终导致物理动作。 **定义2**：认知层次结构是一个元组$H = (N, N_0, F)$，满足： - $N$是一组认知节点，$N_0 \in N$是对应外部环境的特殊节点。 - $F$是一组函数对$\langle φ_{i,j}, ψ_{j,i} \rangle \in F$，用于连接节点$N_i, N_j \in N$，其中$φ_{i,j} : S_i \to 2^{O_j}$是感知函数，$ψ_{j,i} : 2^{A_j} \to 2^{T_i}$是任务参数函数。 - **感知图**：每个$φ_{i,j}$表示从节点$N_i$到$N_j$的一条边，形成一个有向无环图（DAG），$N_0$是图的唯一源节点。 - **动作图**：任务参数函数集形成感知图的逆图，使得$N_0$是图的唯一汇节点。 感知函数从较低级节点提取观察值，任务参数函数将较高级动作转换为较低级节点的任务参数，$N_0$对外部世界进行建模。 ##### 2.3 活跃认知层次结构 认知节点和认知层次结构的概念仅捕获系统的静态组件，需要额外的细节来建模动态操作行为。 **定义3**：活跃认知节点是一个元组$Q = (N, s, π, a)$，其中： - $N$是一个认知节点，$S$、$Π$和$A$分别是对应的信念状态集、策略集和动作集。 - $s \in S$是当前信念状态，$π \in Π$是当前策略，$a \in 2^A$是当前动作集。 活跃认知节点将静态认知节点与一些动态信息（当前信念状态、策略和动作集）相结合。 **定义4**：活跃认知层次结构是一个元组$X = (H, Q)$，其中$H$是一个认知层次结构，认知节点集为$N$，对于每个$N \in N$，都有一个对应的活跃认知节点$Q = (N, s, π, a) \in Q$，反之亦然。 活跃认知层次结构捕获整个层次结构在某个时刻的动态状态，层次结构中的每个节点都有当前状态、当前策略和当前动作集。初始活跃认知层次结构为层次结构中的每个节点指定初始配置，初始化为每个节点的初始信念状态和初始策略，以及一个空动作集。 ##### 2.4 认知过程模型 认知系统在环境中运行需要一个过程模型，该模型应用定义1和定义2中的各种函数来更新活跃认知层次结构。 **定义5**：设$X = (H, Q)$是一个活跃认知层次结构，$H = (N, N_0, F)$。$X$的过程更新$Update(X)$是一个活跃认知层次结构： $Update(X) \stackrel{def}{=} ActionUpdate(SensingUpdate(X))$ $SensingUpdate$函数将感知信息沿认知层次结构向上传递，依次更新层次结构中节点的信念状态；$ActionUpdate$函数将动作沿层次结构向下传递，导致活跃策略和动作发生变化，最终导致节点$N_0$的任务参数变化，对应于机器人执行器的信号。关键的是，$SensingUpdate$和$ActionUpdate$都根据感知图和动作图指定的偏序更新节点，保证了函数的定义良好，因为任何满足偏序的节点更新序列都会产生相同的结果。 #### 3. 行为等价性 引入两个认知层次结构之间的行为等价性概念，首先要明确两个认知系统在某个时刻相对于现实世界在行为上等价的含义。 **定义6**：设$X_i = (H_i, Q_i)$和$X_j = (H_j, Q_j)$是两个活跃认知层次结构，$H_i = (