异构数据集的CNN图像特征聚类分析

# 异构数据集的CNN图像特征聚类分析 ## 1. 数据的重要性 AI和数据科学研究人员常面临数据集相关的问题，常见的是数据集规模小，这会导致模型过拟合和非最优解。医学影像数据集通常需要复杂的标签，标注工作耗时且成本高，往往无法为AI模型提供足够的训练样本。 机器学习架构在小数据集上有成功应用案例，比如在预训练网络上使用相对小的数据集进行监督式微调，能显著提升性能，这就是迁移学习。不过，由于样本大小、观测数据点和异常值等与数据集异构性相关的因素，迁移学习并不能保证模型对每个样本都有良好表现。 数据异构性在医学研究中可从三个角度分析： - 临床角度：指观察对象的数据差异。 - 方法学角度：研究过程产生的数据异构性。 - 统计学角度：研究测量的差异。 对于AI模型，较大的异构数据集更适合训练，因为模型能从多样的样本中学习，从而更好地泛化；而较小的异构数据集会使模型仅适应观测样本集，对未参与训练的样本准确性差，泛化能力降低。为减轻小样本异构性的影响，可采用统计方法，如潜在类别分析、参数函数、因子分析和混合增长分析等，改变或去除异构样本，构建更同质的数据集。 ## 2. 特征聚类分析评估异构性影响 聚类分析是研究根据对象内在特征或相似性进行分组的方法和算法。在数据集上应用聚类分析有多种技术，可识别具有共同特征的低异构性子集。在医学领域，聚类分析常用于理解患者群体和改进医学诊断。 虽然已有关于CNN模型和聚类分析的研究，但二者结合在医学影像分析中的应用尚未充分探讨。同时，样本维度是聚类时的一个问题，高维样本会因“维度灾难”影响聚类算法性能。因此，对CNN提取的高维图像特征进行聚类时，需要使用降维方法，如主成分分析（PCA）。 ## 3. 提出的方法 本研究旨在通过聚类分析评估CNN模型在大小不同的异构数据集上的表现，使用变异系数（CV）作为聚类定量指标。常见的基于CNN迁移学习的模型可分为后端模型和前端模型。后端模型负责卷积计算和特征提取，前端模型基于后端特征进行数据转换以实现预测。 具体步骤如下： 1. 对后端模型输出的主成分进行聚类分析，使用PCA将卷积层创建的原始特征空间降维，假设医学数据通常服从正态分布，创建具有最高数据集协方差维度的新特征空间。 2. 利用前端模型的预测评估聚类数据的模型准确性，在应用该方法前，需先训练后端和前端模型。 3. 探索聚类数量和最适合提取数据的算法。若每个聚类的表现与整个数据集评估结果相似，说明后端模型泛化能力好，数据集异构性未影响模型测试准确性；反之，则说明数据异构性影响了模型性能。 4. 使用CV作为定量归一化指标，衡量聚类准确性的数据离散程度。低离散度表示训练泛化良好，目标是找到合适的CV区间，确保数据同质性和模型泛化能力。 为验证方法，测试了两个不同数据集和目标的模型： ### 3.1 PSP板与ResNet18模型 - **任务**：解决PSP板的二元分类问题，即判断是否丢弃板子。 - **模型**：采用ResNet18后端模型和全