并发关注分离与遥感数据分析模型的可扩展并行性探索

### 并发关注分离与遥感数据分析模型的可扩展并行性探索 #### 并发关注分离相关探讨 在并发编程领域，同步操作的重构是提升程序性能和可维护性的关键。对于同步块，我们将其重构为方法，并逐个构建切入点案例。尽管这种重构不会减少代码长度，但有助于通过切面进行处理，并且所有同步操作都能成功重构。 目前，有许多关于程序重构以增强并发性的工作。例如： - Dig等人提出了工具Concurrencer，它能通过将`int`转换为`AtomicInteger`、`Hashmap`转换为`ConcurrentHashMap`以及将递归转换为Fork/Join框架，把顺序Java代码重构为并发代码。 - Schafer等人展示了如何正确重构并发Java代码，并基于Java内存模型证明了精确的正确性结果。 - Brown等人提出了一种改写方法，用于指导如何通过重构生成并行程序。 还有一些工作关注特定方面的重构，如循环、同步和基于流的应用等。 关注点分离一直是软件工程中的重要设计规则。面向切面编程（AOP）由Kiczales提出，用于支持对切面的分离和封装。过去几十年，大部分工作集中在日志记录、异常处理和安全等方面。近年来，并发关注点开始从核心代码中分离出来。AOP不仅有利于软件设计，还能提高性能并促进软件开发。例如，Vidala和Marcosa定义了一个过程，帮助开发者将面向对象系统转换为面向切面的系统，他们使用关联规则和马尔可夫模型来辅助完成该过程的一些任务。随着多核和众核的普及，如何分离并发关注点成为研究热点。Soares等人提出了简单切面软件架构，用于模块化同步操作。与他们的工作不同，我们不仅重构同步操作，还重构线程、屏障和线程通信操作。 并发关注点作为多线程程序中的主要横切关注点，应与核心功能分离。分离并发关注点将使并发软件的维护更加容易。通过基于面向切面技术手动重构与线程相关的操作，包括线程、同步、屏障和线程通信，我们构建了一个框架。该框架在JGF基准套件和SPECjbb2005基准测试中进行了评估，实验结果表明它能有效重构这些基准测试。 #### 遥感数据分析模型的可扩展并行性探索 在遥感领域，随着更多高分辨率传感器卫星的发射，每天都会捕获大量地球数据。同时，为了应对诸如全球地表参数反演和灾害应急响应等重大挑战应用，提出了更多大规模、高时间分辨率的遥感数据分析模型。这对处理和分析遥感数据的空间网络基础设施的性能和可扩展性提出了更高要求。为了更快地运行遥感数据分析模型，并行化是最佳选择。 并行性可以通过多种方式实现： - High Performance Fortran（HPF）和OpenMP通过使用多个处理器或处理器核心处理单个数组的不同部分来利用并行性。 - MPMD编程结合PVM或MPI将相同的思想扩展到本地分布式环境，如集群。 - 在分布式基础设施（如网格或云）的支持下，数据密集型应用可以通过在地理分布的计算节点上并发运行粗粒度子任务来利用并行性。 大多数并行方法将对大量遥感数据的数据分析任务分解为多个子任务，这些子任务可以独立处理一块数据或分析模型的一个步骤。能并发处理的子任务越多，性能和可扩展性就越好。 然而，创建可扩展的遥感数据分析模型应用程序并非易事，尤其是对于缺乏分布式编程经验的初学者。因此，能够帮助用户研究、开发和优化分布式应用程序的方法和工具包非常有价值。 以下是一些已有的数据密集型处理框架相关工作： | 框架/项目 | 简介 | 局限性 | | ---- | ---- | ---- | | Condor | 早期的分布式系统，可在“Beowulf”集群的计算节点上调度并行作业 | - | | Data Grid/EGEE | 网格基础设施，使个人或用户组能够访问、传输和处理大量地理分布的数据 | - | | ESA G - POD、G