scikit-learn-contrib/hdbscan 基础使用教程：高效聚类分析指南

scikit-learn-contrib/hdbscan 基础使用教程：高效聚类分析指南

什么是HDBSCAN算法

HDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的层次聚类算法，它是对传统DBSCAN算法的改进和扩展。与DBSCAN相比，HDBSCAN具有以下优势：

1. 自动确定最优聚类数量，无需预先指定
2. 能够识别不同密度的簇
3. 对噪声点有更好的处理能力
4. 提供软聚类结果（概率分数）

基础使用流程

1. 准备数据

首先我们需要准备一些示例数据。这里我们使用scikit-learn的make_blobs函数生成一个包含2000个样本、10个特征的数据集：

from sklearn.datasets import make_blobs
import pandas as pd

blobs, labels = make_blobs(n_samples=2000, n_features=10)
pd.DataFrame(blobs).head()

这段代码会生成一个模拟数据集，并将其转换为pandas DataFrame格式以便查看。

2. 导入HDBSCAN并初始化聚类器

import hdbscan
clusterer = hdbscan.HDBSCAN()

默认情况下，HDBSCAN使用以下参数：

• min_cluster_size=5：最小簇大小
• metric='euclidean'：使用欧几里得距离
• alpha=1.0：控制簇合并的紧凑程度

3. 执行聚类

clusterer.fit(blobs)

4. 获取聚类结果

聚类完成后，我们可以通过以下属性获取结果：

# 获取聚类标签
labels = clusterer.labels_

# 获取聚类概率
probabilities = clusterer.probabilities_

聚类标签是一个整数数组，其中：

• 相同数字表示属于同一簇
• -1表示噪声点（不属于任何簇）
• 数字从0开始，表示不同的簇

聚类概率则给出了每个点属于其分配簇的置信度，范围从0.0（完全不属于）到1.0（核心点）。

高级配置选项

1. 使用不同的距离度量

HDBSCAN支持多种距离度量方式，可以通过metric参数指定：

# 使用曼哈顿距离
clusterer = hdbscan.HDBSCAN(metric='manhattan')
clusterer.fit(blobs)

支持的度量方式包括但不限于：

• 'euclidean'：欧几里得距离（默认）
• 'manhattan'：曼哈顿距离
• 'cosine'：余弦距离
• 'haversine'：球面距离
• 'precomputed'：预计算距离矩阵

2. 使用预计算的距离矩阵

当数据不是简单的向量空间数据时，我们可以提供预计算的距离矩阵：

from sklearn.metrics.pairwise import pairwise_distances

distance_matrix = pairwise_distances(blobs)
clusterer = hdbscan.HDBSCAN(metric='precomputed')
clusterer.fit(distance_matrix)

注意：使用预计算距离时，必须确保矩阵是对称的，缺失值可以用numpy.inf表示。

3. 调整关键参数

HDBSCAN有几个重要参数可以调整：

clusterer = hdbscan.HDBSCAN(
    min_cluster_size=10,  # 最小簇大小
    min_samples=5,       # 核心点邻域所需最小点数
    alpha=0.5,          # 控制簇合并的紧凑程度
    metric='euclidean'   # 距离度量方式
)

结果分析与解释

1. 查看聚类统计

import numpy as np

# 获取簇数量（不包括噪声）
n_clusters = len(np.unique(labels[labels != -1]))

# 获取噪声点比例
noise_ratio = np.sum(labels == -1) / len(labels)

2. 理解软聚类结果

HDBSCAN提供的概率分数可以帮助我们：

• 识别簇的核心区域（高概率点）
• 发现簇边界的不确定区域（中等概率）
• 明确区分噪声点（概率为0）

实际应用建议

1. 数据预处理：HDBSCAN对数据尺度敏感，建议先进行标准化处理
2. 参数调优：min_cluster_size是最重要的参数，应根据业务需求调整
3. 结果验证：结合可视化工具评估聚类质量
4. 高维数据：考虑先使用降维技术处理高维数据

常见问题解答

Q：HDBSCAN与K-Means有何不同？ A：HDBSCAN不需要预先指定簇数量，能识别任意形状的簇，且能处理噪声点，而K-Means需要指定K值，只能发现球形簇。

Q：如何处理大量噪声点？ A：可以尝试增大min_cluster_size或调整min_samples参数，或者检查数据是否需要预处理。

Q：为什么我的所有点都被标记为噪声？ A：通常是因为min_cluster_size设置过大或数据本身没有明显的簇结构。

通过本教程，您应该已经掌握了HDBSCAN的基础使用方法。在实际应用中，建议结合具体业务场景和数据特点进行参数调整和结果分析。