基于笔式设备的手势命令用户与系统交叉学习研究

### 基于笔式设备的手势命令用户与系统交叉学习研究 #### 1. 引言 为了促进人机交互，诸如交互式平板电脑（使用手指或笔）等新概念应运而生。用户可以通过绘制手势来执行命令。对于命令少于十条的简单应用程序，记住所有手势并不困难，但当命令过多时，直接记住所有手势就变得颇具挑战，这也是当前笔式人机交互研究面临的难题之一。 本文旨在探讨如何获取自然的连笔手势，并设计一个有助于用户高效学习这些手势的框架。研究发现，用户自行定义的手势比任意无意义的手势更容易记忆，因为有意义的手势应具有语义或人体工程学意义。为使用户能够自定义手势，我们采用了一种能够从少量样本开始学习并在使用过程中逐步改进性能的手势识别系统，即“交叉学习”。同时，我们还借助“可定制手势菜单”来帮助用户记忆手势，并引入自动机制检测手势定义中的混淆，以避免用户在初始化阶段引入混淆的手势。 #### 2. 研究背景与现状 ##### 2.1 如何帮助用户学习手势 帮助用户学习手势的主要方法基于标记菜单，它有两种使用模式：新手模式下，用户可通过显示的菜单完成手势；专家模式下，用户只需绘制所需手势，识别器会尝试理解所调用的命令。 标记菜单的第一个改进是其分层版本，它允许有多个菜单级别，以便按命令族组织命令并展示更多命令手势。此后，区域和多边形菜单提出了复合多笔画来执行一个命令，这些分层菜单在各级之间进行划分，每一笔画都是简单的直线。由于每次只显示一个级别，这些菜单的显示不占太多空间，准确性也较好，因此可以包含更多手势，但一个命令的最终手势不能一笔画出，速度较慢。 所有这些方法都通过让用户练习绘制来帮助他们记忆手势，但最终手势的形式很大程度上取决于菜单的人体工程学，这对用户的熟悉和学习是一个很大的限制。另一个有趣的例子是Octopocus，它允许自然流畅的手势，在新手模式下的交互也很有趣，它使用彩色元素帮助学习，并在新手模式下提供连续反馈，突出当前识别的命令并逐渐弱化其他命令，这种方法有助于用户学习且准确性较高，但手势也是预定义的。 | 菜单类型 | 特点 | 优点 | 缺点 | | ---- | ---- | ---- | ---- | | 分层标记菜单 | 允许多个菜单级别，按命令族组织命令 | 可展示更多命令手势 | - | | 区域和多边形菜单 | 复合多笔画执行一个命令，每笔为直线，每次只显示一级 | 显示空间小，准确性好 | 最终手势不能一笔画出，速度慢 | | Octopocus | 允许自然流畅手势，新手模式有彩色元素和连续反馈 | 有助于学习，准确性高 | 手势预定义 | ##### 2.2 进化分类系统 随着触摸屏的广泛使用，对手写手势识别系统的需求不断增加。构建手写手势识别系统有两种策略：使用与书写者无关的训练集或与书写者相关的训练集。 第一种策略需要大量不同的书写者来收集异构训练数据库，以构建与用户无关的系统，但这种方法性能有限，特别是当最终用户的手势与训练用户不同时，识别效果不佳。第二种策略仅使用最终用户的数据样本进行训练，虽然系统是为特定用户设计的，性能更好，但需要用户花费大量时间书写训练手势。 最近，一些新方法被提出以克服这些缺点。有研究建议将与书写者无关的系统转变为与书写者相关的系统，这样可以减少最终用户训练系统的需求，同时提高识别性能，但识别的类别是预先指定的，最终用户无法添加新类别。还有研究提出了一种非常简单的模板匹配分类器（1$分类器），训练要求极低，使用户能够轻松构建分类器并添加新手势，但与常见的统计分类器（如支持向量机或多层感知器）相比，性能有限。 我们采用了一种能够从少量训练样本开始并在使用过程中逐步学习的进化分类系统，使用Evolve识别器来识别手势命令。Evolve基于模糊推理系统，能够逐步学习并处理类别添加。由于它是统计分类器，需要从手势绘制中提取特征，我们选择了在多个知名手写手势数据库上进行优化的异构基线特征集（HBF49），