大数据建模与挖掘应用.pdf

大数据建模与挖掘应用 大数据建模与挖掘技术已经逐步地应用到新兴互联网企业、银行金融证券企业、电信运营等行业，给这些行业带来了一定的数据价值增值作用。本课程面向有一定的数据分析挖掘算法基础的工程师，带大家实践大数据分析挖掘平台的项目训练，系统地讲解数据准备、数据建模、挖掘模型建立、大数据分析与挖掘算法应用在业务模型中，结合主流的 Hadoop 与 Spark 大数据分析平台架构，实现项目训练。 大数据建模与分析挖掘技术包括： 1. 数据准备：数据采集、数据清洁、数据转换、数据集成等。 2. 数据建模：数据 Warehouse、数据 Mart、数据挖掘模型建立等。 3. 挖掘模型建立：分类算法、聚类算法、预测分析算法、推荐分析模型等。 4. 大数据分析与挖掘算法应用：基于 Hadoop 和 Spark 的大数据分析平台架构，实现项目训练。 大数据分析挖掘算法模型包括： 1. 分类算法：贝叶斯、决策树等。 2. 聚类算法：K 均值、层次聚类、谱聚类等。 3. 预测分析算法：线性回归、逻辑回归等。 4. 推荐分析算法：Item-based、User-based 协同过滤等。 5. 图关系分析算法：链接分析、社交分析等。 6. 神经网络深度学习算法：CNN、RNN 等。 大数据分析挖掘平台工具包括： 1. Hadoop 大数据分析挖掘工具。 2. Spark 大数据分析挖掘工具。 3. Mahout 大数据挖掘工具。 4. Mllib 大数据分析挖掘工具。 5. R 建模工具。 6. SPSS 建模工具。 本课程目标： 1. 让学员充分掌握大数据平台技术架构、大数据分析的基本理论、机器学习的常用算法、国内外主流的大数据分析与 BI 商业智能分析解决方案、以及大数据分析在搜索引擎、广告服务推荐、电商数据分析、金融客户分析方面的应用案例。 2. 强调主流的大数据分析挖掘算法技术的应用和分析平台的实施，让学员掌握主流的基于大数据 Hadoop 和 Spark 的大数据分析平台架构和实际应用。 3. 让学员掌握常见的机器学习算法，深入讲解业界成熟的大数据分析挖掘与 BI 平台的实践应用，并以客户分析系统、日志分析和电商推荐系统为案例，串联常用的数据挖掘技术进行应用教学。 培训特色： 1. 定制授课：结合业界实际应用的案例教学。 2. 实战案例训练：提供实际的生产系统案例进行教学。 3. 互动咨询讨论：鼓励学员之间的讨论和互动。 培训人群： 1. 大数据分析应用开发工程师。 2. 大数据分析项目的规划咨询管理人员。 3. 大数据分析项目的 IT 项目高管人员。 4. 大数据分析与挖掘处理算法应用工程师。 5. 大数据分析集群运维工程师。 6. 大数据分析项目的售前和售后技术支持服务人员。 大数据建模与挖掘应用课程旨在让学员掌握大数据分析挖掘技术和大数据平台架构，深入讲解业界成熟的大数据分析挖掘与 BI 平台的实践应用，并结合实际的生产系统案例进行教学。