大数据基础知识ppt课件.pptx

"大数据基础知识ppt课件.pptx" 大数据概念与Hadoop简介 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 IDC 定义大数据为：一般会涉及2种以上数据形式，数据量100T以上，且是高速、实时数据流；或者从小数据开始，但数据每年增长60%。Gartner 将大数据定义为四个V：Volume、Variety、Velocity、Value。 Volume 指数据量巨大，Velocity 指分析处理速度快，Variety 指种类和来源多样化，Value 指价值密度低，商业价值高。 大数据的来源包括人和机器。人生成的数据来自社交媒体、Email、浏览记录等，而机器生成的数据来自感知器、智能设备、机器学习模型等。 大数据的结构特征可以分为三类：结构化数据、半结构化数据和非结构化数据。在互联网公司中，非结构化数据占据主导地位，而在企业大数据中，结构化数据占据主导地位。 大数据市场趋向稳定，数据存储海量、计算海量、数据管理和数据分析等成为主要趋势。 Hadoop 是 Apache 基金会的一个项目总称，主要由 HDFS、MapReduce 和 HBase 等组成。HDFS 是对 Google GFS 的开源实现，MapReduce 是对 Google MapReduce 的开源实现，HBase 是 Google BigTable 的开源实现。Hadoop 来源于其创始人 Doug Cutting 的儿子给一头黄色大象取的名字。 HDFS 是一种分布式文件系统，主要特点是存储大文件、将大文件分割成小块、分布式存储和高可靠性。 MapReduce 是一种分布式计算模型，主要特点是将计算任务分割成小块、分布式计算和高可靠性。 HBase 是一种分布式数据库，主要特点是存储结构化数据、半结构化数据和非结构化数据、分布式存储和高可靠性。 大数据技术的发展趋势是分布式演进趋势，Hadoop 成为开放的事实标准。Hadoop 的特点是集群、Share Everything、结构化、关系型、Flash Cache+分布式块存储+IBSMP+MPP 混合。 大数据技术的应用场景包括数据挖掘、机器学习、深度学习、自然语言处理、图像识别等。 大数据技术的挑战包括海量数据的高存储成本、数据处理性能不足、流式数据处理缺失、有限的扩展能力、单一数据源等。 大数据技术的发展方向包括数据处理技术的分布式演进趋势、新的大数据处理平台、数据资产对外增值数据扩展性需求和硬件性能之间存在差距等。 数据仓库是指一个存储和管理大量数据的 Repository，旨在支持商业智能的数据分析和报告。数据仓库的主要特点是集成化、历史性、变换性和MetadataDriven。 数据挖掘是指从大量数据中发现有价值的模式和关系的过程。数据挖掘的主要步骤包括问题定义、数据收集、数据预处理、模式评估和模式 deployment。 机器学习是指使用算法和统计模型来enable computers 来自动 improvie performance on a task without being explicitly programmed 的过程。机器学习的主要应用场景包括图像识别、自然语言处理、推荐系统等。 深度学习是指使用多层神经网络来模拟人脑的学习过程的算法。深度学习的主要应用场景包括图像识别、语音识别、自然语言处理等。 自然语言处理是指使用计算机来处理和理解人类语言的过程。自然语言处理的主要应用场景包括文本分类、语言模型、 Named Entity Recognition 等。 图像识别是指使用计算机来识别和理解图像的过程。图像识别的主要应用场景包括物体识别、人脸识别、图像分类等。 大数据技术的应用场景包括智能城市、智能交通、智能医疗、智能制造等。