全方位图像扫描路径预测与AI模型训练中间数据存储优化

### 全方位图像扫描路径预测与AI模型训练中间数据存储优化 #### 1. 全方位图像扫描路径预测模型 在全方位图像扫描路径预测领域，提出了一种基于现有显著性预测模型的新型扫描路径预测模型。该模型并非直接从原始图像预测扫描路径，而是将预测的显著性图转换为扫描路径，具体通过以下三个步骤实现： - **过滤平庸区域**：对预测的显著性图进行处理，去除其中平庸的区域。 - **聚类获取注视点集**：对过滤后的显著性图进行聚类操作，得到聚类中心的集合，并将其作为注视点集。 - **解决路由问题**：将注视点集内的连接问题转化为路由问题，目标是找到一条最优路径，使得该路径能够且仅能够到达所有注视点一次。最后，使用蚁群优化算法在注视点集内找到这条路径，此路径即为所需的扫描路径。 该模型在两种类型、四种不同的预测显著性图上进行了评估，并与基于随机的方法进行了对比实验。结果表明，该模型能够与当前最先进的扫描路径预测模型相竞争，并且模型的性能会受到显著性预测模型选择的影响。此外，SAE与SMST模型以及IIP与SMST模型在眼动预测场景中表现更优，因为它们能选择并包含更多有效的注视点。 下面是该模型的流程示意图： ```mermaid graph LR A[预测的显著性图] --> B[过滤平庸区域] B --> C[聚类获取注视点集] C --> D[转化为路由问题] D --> E[蚁群优化算法求解] E --> F[扫描路径] ``` #### 2. AI模型训练中间数据的多级别存储优化 随着基于Transformer的大型模型成为AI训练的主流，硬件设备（如GPU）的发展无法跟上模型规模的快速增长。尽管各种并行训练技术的发展使模型能够在多个GPU上进行训练，但这需要高昂的成本，大多数研究人员难以承受。AI模型训练硬件门槛的提高影响了深度学习的应用。 在AI模型训练中，存在两种主要类型的中间数据：模型数据和非模型数据。 - **非模型数据**：通常封装在深度学习框架中，对研究人员不可见；其计算依赖内置的C/C++库和特定的数值计算算法进行加速，卸载此类数据会极大影响计算效率；在训练过程中，这些数据一旦计算出来就会迅速作为下一个算子的输入数据，属于热数据，迁移会导致频繁