qq_42692756的博客

原创 Spark-GraphX图计算

转载 线性降维算法简介及PCA主成分分析

降维方法分为线性降维方法和非线性降维方法： 在说降维之前首先要知道维度，维度的目的是用来进行特征选择和进行特征提取，特征选择是选择重要的特征子集，删除其余特征；而特征提取是由原始特征提取形成较少的新特征。在特征提取中，我们要找的是n个新的维度的集合，这些维度是由原来的维度结合而成的，当然，该方法可以是监督的（lda线性判别分析），也可以是非监督的（pca主成分分析）。 ...

转载 storm集群配置详解

以下是从storm的config类中搜集的所有storm支持的配置项(Based storm 0.6.0): 配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm...

转载 机器学习框架简述

机器学习框架意味着一个能够整合包括机器学习算法在内的所有机器学习的系统或方法，使用户最有效的使用它们。具体来讲，这包括数据表示与处理的方法、表示和建立预测模型的方法、评价和使用建模结果的方法。 在所有可用的机器学习框架中，着重于迭代算法和交互处理的框架被公认为是最好的，因为这些特性可以促进复杂预测模型估计和研究人员与数据间的良好交互。当下，优秀的机器学习框架依旧需要包含大数据功能...