numpy-使用numpy实现的机器学习算法之KMeans.zip_Numpy机器学习应用资源-CSDN下载

共1个文件

py：1个

需积分: 50 148 浏览量 2024-05-19 08:22:44 上传评论收藏 1KB ZIP 举报

在Python的科学计算领域，NumPy是一个不可或缺的库，它为高效处理大型多维数组和矩阵提供了基础。本文将深入探讨如何使用NumPy来实现机器学习中的经典算法——KMeans聚类。KMeans是一种无监督学习方法，常用于数据挖掘和数据分析，能够将数据自动分为若干个类别，而无需预先知道类别信息。我们要了解KMeans的基本工作原理。KMeans的目标是通过迭代优化找到最优的K个质心（centroid），使得每个样本点到最近的质心的距离平方和最小。其步骤主要包括初始化质心、分配样本、更新质心以及判断收敛条件。在NumPy中，我们可以利用其强大的数组操作功能来实现这一过程。以下是一个简化的KMeans算法实现： 1. **初始化**：选择K个初始质心。通常随机从数据集中选取K个样本作为初始质心。 ```python import numpy as np def init_centroids(data, k): return data[np.random.choice(data.shape[0], k, replace=False)] ``` 2. **分配样本**：根据样本与质心之间的欧氏距离，将每个样本分配到最近的簇。 ```python def assign_clusters(data, centroids): distances = np.linalg.norm(data[:, np.newaxis] - centroids, axis=-1) return np.argmin(distances, axis=1) ``` 3. **更新质心**：重新计算每个簇的质心，即该簇所有样本的均值。 ```python def update_centroids(data, labels, k): centroids = np.zeros((k, data.shape[1])) for i in range(k): centroids[i] = np.mean(data[labels == i], axis=0) return centroids ``` 4. **迭代与判断收敛**：重复上述过程，直到质心不再显著移动或达到预设的最大迭代次数。 ```python def kmeans(data, k, max_iter=100): centroids = init_centroids(data, k) prev_centroids = None for _ in range(max_iter): labels = assign_clusters(data, centroids) new_centroids = update_centroids(data, labels, k) if np.allclose(centroids, new_centroids): break centroids = new_centroids return centroids, labels ``` 以上代码展示了用NumPy实现KMeans的基本思路。在实际应用中，我们可能还需要考虑一些优化策略，如更智能的质心初始化方法（如K-Means++）、距离度量的选择（如考虑权重或使用其他距离函数）以及处理异常值等。除了KMeans，NumPy还能支持其他机器学习算法的实现，例如线性回归、逻辑回归、PCA（主成分分析）等。它的强大之处在于其高效的内核和丰富的数学函数，可以极大地提高数据处理和模型训练的效率。总结来说，NumPy是Python进行机器学习的基础工具，其高效的数组运算和向量化操作为实现各种算法提供了便利。通过理解并熟练运用NumPy，我们可以更好地理解和实现各种机器学习模型，提升数据分析和预测的能力。在实际工作中，结合Pandas进行数据预处理，Scikit-learn进行模型构建和评估，可以形成一个完整的数据分析和机器学习流程。

资源推荐

资源详情

资源评论

收起资源包目录

numpy_使用numpy实现的机器学习算法之KMeans.zip （1个子文件）

numpy_使用numpy实现的机器学习算法之KMeans

KMeans.py 3KB

import os import sys root_path = os.path.abspath("../") if root_path not in sys.path: sys.path.append(root_path) import numpy as np from Util.Util import DataUtil from Util.Bases import ClassifierBase from Util.ProgressBar import ProgressBar class KMeans(ClassifierBase): def __init__(self, **kwargs): super(KMeans, self).__init__(**kwargs) self._centers = self._counter = None self._params["n_clusters"] = kwargs.get("n_clusters", 2) self._params["epoch"] = kwargs.get("epoch", 1000) self._params["norm"] = kwargs.get("norm", "l2") def fit(self, x, n_clusters=None, epoch=None, norm=None, animation_params=None): if n_clusters is None: n_clusters = self._params["n_clusters"] if epoch is None: epoch = self._params["epoch"] if norm is not None: self._params["norm"] = norm *animation_properties, animation_params = self._get_animation_params(animation_params) x = np.atleast_2d(x) arange = np.arange(n_clusters)[..., None] x_high_dim, labels_cache, counter = x[:, None, ...], None, 0 self._centers = x[np.random.permutation(len(x))[:n_clusters]] bar = ProgressBar(max_value=epoch, name="KMeans") ims = [] for i in range(epoch): labels = self.predict(x_high_dim, high_dim=True) if labels_cache is None: labels_cache = labels else: if np.all(labels_cache == labels): bar.update(epoch) break else: labels_cache = labels for j, indices in enumerate(labels == arange): self._centers[j] = np.average(x[indices], axis=0) counter += 1 animation_params["extra"] = self._centers self._handle_animation(i, x, labels, ims, animation_params, *animation_properties) bar.update() self._counter = counter self._handle_mp4(ims, animation_properties) def predict(self, x, get_raw_results=False, high_dim=False): if not high_dim: x = x[:, None, ...] dis = np.abs(x - self._centers) if self._params["norm"] == "l1" else (x - self._centers) ** 2 return np.argmin(np.sum(dis, axis=2), axis=1) if __name__ == '__main__': _x, _y = DataUtil.gen_random(size=2000, scale=6) k_means = KMeans(n_clusters=8, animation_params={ "show": False, "mp4": True, "period": 1, "draw_background": True }) k_means.fit(_x) k_means.visualize2d(_x, _y, dense=400, extra=k_means["centers"]) _x, _y = DataUtil.gen_two_clusters() k_means = KMeans() k_means.fit(_x) k_means.visualize2d(_x, _y, dense=400, extra=k_means["centers"]) _x, _y = DataUtil.gen_two_clusters(n_dim=3) k_means = KMeans() k_means.fit(_x) k_means.visualize3d(_x, _y, dense=100, extra=k_means["centers"])

评论收藏

内容反馈