大数据知识及技术简介(Introduction to basic concepts and techiques of big data in Chinese)
1 like882 views
文档介绍了大数据的背景、基本概念及其相关技术，强调了大数据分析与传统数据分析的区别，以及大数据对社会的影响。此外，文档列出了传统和大数据相关职位，并简要描述了大数据技术及其应用。
大数据知识及技术简介(Introduction to basic concepts and techiques of big data in Chinese)
- 2. 内容提纲 •背景介绍 •基础概念 •大数据 •大数据分析 •相关技术 •相关职位 •社会影响
- 3. 信息过载 •1880 美国人口普查 •1941 “信息爆炸” •1944 Fremont Rider 发现：美 国大学图书馆藏书每16年倍增 •1961 DerekPrice推进Rider的发 现
- 4. 大数据时代
- 5. 基本概念 •数据 •数据可视化 •数据分析 •数据挖掘 •Machine Learning •预测和建模 •“数据科学”
- 6. 大数据 •Volume：大量 •Velocity：高速 •Variety：多样 •Value：价值
- 7. 大数据分析
- 8. 大数据分析 •与传统数据分析的区别 •运算追逐数据 •生成同步处理 •全体取代抽样 •当前难点 •数据处理——处理大量、高速、多样的数据 •数据分析——现有算法的并行化
- 9. 数据及数据分析相关职位 传统职位 •统计 •Business Intelligence •数据分析师（data analyst） 大数据相关职位 •算法研究（researcher） •数据科学家（data scientist） •数据工程师（data engineer） •数据保障（data quality）
- 10. 大数据技术 •分布式存储+ 并行计算 •云计算
- 11. Hadoop •HDFS + MapReduce •Hadoop
- 12. Hadoop Alternatives & Related •Storm •Spark •Mahout •SAS on Hadoop
- 13. NoSQL Database •NOT ONLY SQL •MongoDB •Redis •Cassandra •Hbase •Run SQL on KeyValuePair •Hive •Pig
- 14. 大数据的影响 •定量分析 •从必然到相关 •信息安全