异构传感器节点集成与数据流管理

# 异构传感器节点集成与数据流管理 ## 1. 图基查询语言概述 支持的运算符集合在概念上是无界的。大多数图基查询语言支持关系运算符和一组特殊的流运算符，这些特殊运算符在涉及传感器数据融合的实际数据流场景中极为重要。不过，定义一组核心的相关流运算符仍是一个待解决的问题。 图基查询语言具有可扩展性，只需实现新的运算符并扩展语言语法，就可以使用该运算符。这类语言可以像类 SQL 语言一样进行分区和映射，其表达能力取决于给定语言中可以表示哪些图。例如，循环、多个输出流或多个内部流等结构，类 SQL 语言无法表示，但图基查询语言可能可以。 不同的图基查询语言在可用性上存在差异，这部分归因于它们的不同侧重点，即预期由谁编写（和读取）查询以及使用频率如何。一些系统提供图形编辑器，方便领域专家直观地创建查询。 ## 2. AQL - DSAM 的查询语言 ### 2.1 DSAM 功能 DSAM 处理全局查询并配置节点，具体包括将全局查询分区、将部分查询映射到运算符组合或特殊目标语言，并将其部署到合适的节点上。这支持异构流发射和流处理节点的集成，以部署大型查询。 ### 2.2 AQL 特点 AQL 独立于 SPS，用作全局查询语言，它通过描述数据源、数据汇和抽象运算符来实现完全描述性。抽象运算符分为三类： - **一元运算符**：有一个输入流和一个输出流，如过滤、映射或聚合运算符。 - **组合运算符**：有一个输出流和至少两个输入流，如并集或连接运算符。 - **分离运算符**：有一个输入流和多个输出流，如拆分运算符。 ### 2.3 AQL 语法 AQL 的语法示例如下： ```plaintext query := <source_list> ":" <fragment> ":" <sink_list> subquery := "(" <source_list> ":" <fragment> ":" (<sink_list>)? ")" fragment := (("$"<digit>"."<monadic_operator>",")* <combine_operator>)? "," (<monadic_operator>",")* (<separate_operator> (",#"<digit>"."<monadic_operator>)*)? source_list := <source> ("," <source>)* source := identifier | <subquery> ``` 查询可以使用嵌套子查询作为源流，每个子查询可以合并不同的流并将流分离一次，这种子查询模式允许构建任意复杂的有向图。例如： ```plaintext S1,(S2,TIME:MERGE():):$2.Filter("S2.a<3"), Union(),Filter(...), Split(#1="g>5", #2=...):S3 ,S4 ``` ### 2.4 AQL 窗口支持 AQL 支持源窗口和运算符窗口，通过插入额外字段（映射运算符）可以实现源窗口和运算符窗口之间的映射。 ### 2.5 AQL 设计初衷 设计 AQL 时，目标是一种既具有可扩展性又独立于 SPS 的语言，因此选择了图基语言。AQL 定义了一组抽象运算符，只要不同 SPS 上的运算符实现符合抽象运算符的规范，就可以将抽象运算符映射到这些实现上。不过，一些 SPS 对标准运算符使用高级语义，目前 AQL 暂不支持这些特殊情况。 ## 3. 分区 ### 3.1 分区定义 分区是指将全局查询拆分为可以单独部署到分布式节点的部分。部署包括两个任务：一是决定部署内容和位置；二是需要一个技术基础设施来自动实现部署。在异构环境中，分区和部署决策难以分离，因为可能的部署约束会影响可能的分区方式。 ### 3.2 分区的重要性 分区是一个关键步骤，它极大地影响分布式查询的质量和性能。由于质量和性能要求因查询而异，因此需要一个高度灵活的分区过程。此外，分区还需要考虑许多约束条件，如输入流的可用性、节点的容量等。 ### 3.3 元数据的作用 元数据对于分区至关重要，它包含有关数据源、节点拓扑甚至可用运算符集合的所有信息。在成本估算过程中，会使用性能特征和流的相关知识，根据某些目标选择“最佳”计划。不过，存在相互冲突的目标，如最小化节点的 CPU 负载和能耗、最大化数据质量（减少负载丢弃）、最小化延迟等。 ### 3.4 现有工作中的运算符放置决策 - **TinyDB**：每个节点上的查询相同，无需进行运算符放置决策。 - **GSN 中间件**：专注于不同传感器数据流的集成，也无需进行运算符放置决策。 - **Stream Based Overlay Network (SBON)**：为分布式 SPS 的同质节点网络提供运算符放置决策方法，使用混合指标优化多个指标，将指标映射到虚拟成本空间，通过弹簧松弛模型进行优化。 - **[30]**：假设传感器网络节点能力较低，提供一种算法，为昂贵的连接过滤器和连接的放置提供全局最优解决方案。 - **[36]**：考虑运算符和中间数据对象的放置问题，优化一组查询以最小化计算、内存消耗和数据传输的总成本，只需要邻居之间的信息交换。 ### 3.5 DSAM 中的运算符分布 在 DSAM 中，运算符分布过程的任务是将全局查询拆分为部分查询，并决定将每个部分查询部署到哪个节点。部分查询是分布的单位。 部署过程借助广泛的元数据目录进行，该目录列出了可以运行抽象运算符的可用节点。由于一些运算符并非在每个节点上都可用，这导致查询部署存在结构约