DRain：基于结果质量驱动的流程数据分析引擎

# DRain：基于结果质量驱动的流程数据分析引擎 ## 1. 引言 智慧城市的兴起给信息通信技术（ICT）带来了诸多新挑战。大城市提供的海量多样数据（即大数据）分析，结合多个领域专家和利益相关者分散的需求，变得极具挑战性。例如，智慧城市中的城市规划任务需要收集从能源消耗、建筑和交通系统到社会因素等各方面的重要数据。 虽然工作流已用于组合和执行一系列计算或数据操作步骤，但很少有讨论聚焦于利用运行时机制，基于用户定义的结果质量（QoR）来选择和配置数据感知流程，以进行分布式数据分析。在我们的场景中，大量的数据感知流程变体与数据服务交互，每个都有特定的质量约束，因此在运行时提供质量驱动的流程选择和定制手段至关重要。 ### 1.1 动机、贡献和文章结构 在基于流程的数据分析中，实际执行流程活动所需的数据比典型的流程相关数据要广泛得多。原始数据（如来自数据API的数据）虽然与多个工件（如服务和流程活动）相关，但不绑定到任何特定意图，代表一般信息。而远程分析流程和可用服务的结果可以作为特定意图的数据提供，将预期结果作为数据即服务（DaaS）呈现。 服务包括领域专家的计算模型（如MATLAB模型），这些是流程执行活动所需的。数据感知分析流程，即工作流即服务（WFaaS），代表了行业利益相关者的特定意图，其流程逻辑以流程模型（如BPMN2、BPEL）的形式表示。 由于相关流程和数据的高度可变性，我们需要将WFaaS的选择和配置推迟到运行时，根据QoR定制和执行流程变体，以降低管理大量流程变体的复杂性，并确保分析所需的QoR。然而，现有的方法都无法在运行时基于QoR选择和配置数据感知流程变体。 本文提出了一个名为DRain的框架的基本构建块，用于基于QoR驱动的数据感知流程的选择和配置。主要贡献如下： - 提出一种方法和原型框架，用于在运行时选择、配置和执行数据感知分析流程。 - 通过在实际示例中的评估，证明该框架在选择分析流程和数据端点以及基于数据领域的数据配置变异点（DRi活动）方面花费的时间较少。 文章结构如下：第2节总结相关工作；第3节介绍DRain框架的整体架构和各个构建块；第4节通过在实际示例中编码评估该方法的功能和实用性；最后在第5节总结并展望未来工作。 ## 2. 相关工作 一些替代方法专注于使用工作流进行数据分析，如科学工作流，但未考虑QoR或服务质量（QoS）来驱动流程选择和配置。QoS主要用于服务组合领域，例如Discorso框架通过后续选择适用的Web服务来实现服务的后期绑定，Canfora等人提供了基于遗传算法的QoS感知复合服务绑定和重新绑定方法，但这些方法主要关注服务选择，而非通过QoR驱动的数据交互在运行时实现流程配置。 其他作者也推动了流程重新配置能力的发展，如CEVICHE框架通过监控QoS实现BPEL流程模式级别的重新配置，Xiao等人提出基于约束的框架实现运行时片段选择和适应，还有自主机制用于指导服务组合的自适应。但我们的方法不是专注于重新配置，而是将QoR驱动的流程选择和配置推迟到运行时。 此外，一些方法实现了流程配置抽象，如基于需求的方法和基于问卷的方法，但目前没有框架能够在运行时定制QoR驱动的数据感知流程变体。 ## 3. DRain构建块 DRain框架允许基于用户定义的QoR对数据感知分析流程进行建模、配置、处理和执行。 ### 3.1 建模 - **基础模型和片段**：为了满足不同用户定义的QoR需求（如时间和成本约束），流程建模者可以使用BPMN2元素（如服务任务）和自定义变异点（DRi活动）创建基础模型和片段。基础模型代表流程家族的共性和可能变化的变异点，变异点确定基础模型中发生数据交互和片段选择的特定部分。流程片段描述了基础模型中每个变异点的特定配置选项。 - **IQoRM**：意图和结果质量模型（IQoRM）通过UML图体现，包含代表用户请求的意图、代表用户限制的约束（QoR）和分析范围。这些