算法集成开发手册.pdf

在本文档中，详细介绍了气象算法集成到大数据云平台的开发指南，即如何将气象算法集成到气象大数据云平台产品加工系统中，以及如何部署到加工流水线上实现业务化运行。本文档面向气象大数据云平台产品加工系统的最终用户开放，包括算法开发人员、算法设计人员、科研人员、业务使用者等。 文档中提到的气象大数据云平台（简称CMADAAS），是一个基于云架构的海量数据存储、分布式计算和微服务等技术的平台，它基于气象“专有云+公共云”部署，提供数算一体的平台化服务，全面支撑“云+端”的气象业务。 在这个平台中，算法被定义为为解决一个特定问题、生成一类数据产品或实现一个业务逻辑所定义的有序指令集。算法库是按标准定义的算法的集合，可以实现算法检索、下载、共享、修改、升级、删除，版本管理等功能。 算法的改造主要包括输入输出改造、DI和EI的改造。其中，输入改造是指对算法输入部分进行改造以适应新的数据格式，输出改造是指对算法输出部分进行改造以生成符合标准的数据产品。 加工处理流水线是实现所有加工处理任务自动运行、批量生产数据产品的业务环境。任务调度平台是实现某个加工处理任务在流水线上运行前进行算法加载、资源分配、执行策略配置等相关功能，以及解决所有任务运行过程中的调度问题，并具备对整个加工流水线的任务进行综合监视和控制的能力。 监视详情（DI）和告警事件（EI）是平台监控算法运行状态的重要工具。DI是指由算法或调度平台主动发出的，在算法任务运行各环节的关键指标信息，包括任务级和数据级两类监视信息。EI是指为便于监视算法运行状态，在执行异常的状态下，由算法或调度平台发出的告警信息。 数据库统一访问层（简称UP）位于应用和数据库系统之间，应用只和统一数据访问层交互，不再关心实际的数据库系统。统一数据访问层适配各种异构数据库系统，为应用提供统一的数据库访问接口和标准SQL接口，屏蔽异构数据库系统的差异。 整个集成开发的过程包括元数据申请、数据存储权限申请、算法改造、加工流水线部署等步骤。元数据申请是指申请与算法相关的元数据描述信息，数据存储权限申请是指申请对应数据存储的访问权限，算法改造是指根据平台要求对算法进行改造，加工流水线部署是指将改造后的算法部署到加工流水线上。 本文档详细描述了气象大数据云平台产品加工系统的目录结构和各个模块的功能，以及整个集成开发过程的具体步骤和方法。