第一人称视频总结与网络时间序列分析

### 第一人称视频总结与网络时间序列分析 在当今的技术领域，第一人称视频总结和网络时间序列分析是两个备受关注的研究方向。前者有助于高效提取第一人称视频中的关键信息，后者则能从复杂的时间序列数据中挖掘出因果关系和潜在模式。下面将详细介绍相关的研究方法和实验结果。 #### 第一人称视频总结 在第一人称视频总结方面，提出了一种基于图论框架的解决方案，主要有两个重要贡献：一是用于表征自我中心视频的基于图的中心 - 环绕模型；二是在基于最小生成树（MST）聚类中对不可接受边的新度量。 ##### 新度量的提出 为了衡量不可接受边，引入了新的度量方法，记为 MST C∗。通过与无图的中心 - 环绕模型和非自适应的 PHOG（整个帧分为 2 层），记为 PHOG CSM，以及仅以边的权重作为不可接受性度量的基于 MST 的聚类方法，记为 MST C 进行比较。从表 1 的消融研究性能分析中可以明显看出 F - 分数值的逐步提高。 | 数据集 | 视频名称 | 方法 | F - 分数 | | --- | --- | --- | --- | | SumMe | 低空跳伞 | (PHOG CSM) + MST C | 0.1840 | | SumMe | 低空跳伞 | (PHOG CSM)∗+ MST C | 0.2331 | | SumMe | 低空跳伞 | (PHOG CSM)∗+ MST C∗ | 0.2688 | ##### 聚类验证 预期提出的不可接受性度量能够产生更好的聚类结果。使用两个聚类验证指标进行验证，即 Calinski - Harabasz 指数（CHI，值越高越好）和 Davies - Bouldin 指数（DBI，值越低越好）。在实验中，保持相同的特征集 (PHOG CSM)∗，比较 K - 均值、MST 和 MST C∗的性能。表 2 的结果清楚地表明，MST C∗产生了最优越的结果。 | 数据集 | 视频名称 | 方法 | (PHOG CSM)∗ | CHI (↑) | DBI (↓) | | --- | --- | --- | --- | --- | --- | | SumMe | 低空跳伞 | K - 均值 | | 0.0696 × 10³ | 0.9040 | | SumMe | 低空跳伞 | MST C | | 0.1399 × 10³ | 0.7634 | | SumMe | 低空跳伞 | MST C∗ | | 0.1595 × 10³ | 0.6575 | ##### 实验结果 在 SumMe 数据集上，将该方法与四种最先进的视频总结方法以及两种基线方法（K - 均值聚类和 MST 聚类）进行比较。对于 K - 均值和 HK - 均值，将 K 设置为输入视频长度的 15%。最终总结中包含最接近聚类中心的关键帧。表 3 的结果表明，该方法比部分方法在性能上提高了约 20%。 | 视频名称 | K - 均值 | Gygli 等人 [4] | Song 等人 [5] | Otani 等人 [8] | Guo 等人 [10] | OURS (MST C) | OURS (MST C∗) | | --- | --- | --- | --- | --- | --- | --- | --- | | 低空跳伞 | 0.1523 | 0.1210 | 0.2990 | 0.0770 | 0.2050 | 0.2331 | 0.2688 | | 自行车马球 | 0.1464 | 0.3560 | 0.1839 | 0.2350 | 0.1910 | 0.2256 | 0.2571 | | 水肺潜水 | 0.1701 | 0.1840 | 0.1390 | 0.1540 | 0.2040 | 0.2061 | 0.2490 | | 速降滑雪 | 0.1522 | 0.2400 | 0.2482 | 0.2580 | 0.2500 | 0.2150 | 0.2587 | | 均值 | 0.1552 | 0.2252 | 0.2176 | 0.1810 | 0.2125 | 0.2199 | 0.2584 | 在“低空跳伞”视频中，所提出的方法总结出的关键帧与真实分数匹配得非常好，捕捉到了诸如使用头戴式“GoPro”相机进行录制、打开降落伞、带着降落伞飞行以及精确的着陆时刻等关键动作。而这些帧被最近的一种第一人称视频总结方法遗漏了。 在 TvSum50 数据集上，将该方法与 Song 等人的方法以及两种基线方法（K - 均值聚类和 MST 聚类）进行比较。表 4 的结果清楚地表明，该方法的 F - 分数为 0.5242，优于 K - 均值、MST 和 Song 等人的方法。 | 视频名称 | 计算方法 | K - 均值 | Song 等人 [5] | OURS (MST C) | OURS (MST C∗) | | --- | --- | --- | --- | --- | --- | | 更换汽车轮胎 (VT) | | 0.4