【大数据入门】第一二章·大数据与数据表示与存储

NDCG（归一化的折损累计增益）：由于搜索结果随检索词的不同返回的数量不一致，而DCG是一个累加的值，无法对两个不同的搜索结果进行比较，因此要标准化处理，除以IDCG。针对高容量，高性能的场景，查询速度快，可扩展性强，方便数据压缩，针对列数据查询优势大。数据集小的多，但是分析结果要与原来相同，并且保证数据归约的时间不能超过在原本的数据集上挖掘节省的时间。数据清理、数据集成之后获得了多源并且质量完好的数据集，但是数据的规模过大，使得分析非常复杂，需要很长的计算资源以及时间，因此需要归约。

人工智能（Artificial Intelligence，AI）是研究计算机模拟人的某些思维过程和智能行 为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似 于人脑智能的计算机，使计算机能实现更高层次的应用。机器学习研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能——eg：语音识别、图像识别、围棋、翻译机器学习方法利用既有的经验，完成某种既定任务，并在此过程不断改善自身性能。

清华大学出版社《数据科学导论》知识点整理

本文到这里就结束啦~~目前已完成：大数据入门、数据表示与存储、数据预处理、建模分析期待您的关注~~🥰🥰猫猫陪你永远在路上💪💪下一篇我们将进入数据可视化部分~~~

利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。

数据科学导论，书本知识点汇总

备注： 请参考最新版本的《数据科学概论》教学大纲。https://blog.csdn.net/xiongpai1971/article/details/89364071 前言 知识是有架构的，这就是所谓的知识体系。学习是有路线图的（对学生而言），对老师来讲就是教学计划。 《数据科学概论》的知识体系 数据科学概论，由理论部分和应用部分构成。形成两条线索，两个T...

Pandas 是非常著名的开源数据处理库，我们可以通过它完成对数据集进行快速读取、转换、过滤、分析等一系列操作。除此之外，Pandas 拥有强大的缺失数据处理与数据透视功能，可谓是数据预处理中的必备利器。 特有的数据结构是 Pandas 的优势和核心。我们可以将任意格式的数据转换为 Pandas 的数据类型，并使用 Pandas 提供的一系列方法进行转换、操作，最终得到我们期望的结果。 数据读取 df = pd.read_csv("文件名.csv") df Pandas 提供了 head() 和 ta.

文章目录一、NoSQL1、NoSQL兴起原因2、NoSQL四大类型二、数据处理1、数据预处理2、数据审计3、数据清洗4、数据变换5、数据集成6、数据脱敏7、数据规约8、数据结构模式 一、NoSQL 1、NoSQL兴起原因 关系型数据库已经无法满足大数据的需求： 无法满足海量数据的管理需求 无法满足数据高并发的需求 无法满足高可扩展性和高可用性的需求 2、NoSQL四大类型 键值数据库 列族数据库 文档数据库 图形数据库 数据模型 键值对键是一个字符串对象值可以是任意数据类型 以列簇式存

总内容 一数据科学简介: (1)大数据的“5V”特点 1) Volume(体量)：数据量大，包括采集、存储和计算的量都非常大。 2) Variety(多样性)：种类和来源多样化。 3) Value(价值)：数据价值密度相对较低。 4) Velocity(时效性)：数据增长速度快，处理速度也快，时效性要求高。 5) Veracity(准确性)：数据的准确性和可信赖度，即数据的质量。 (2)数据科学的概念:数据科学是关于对数据进行分析、抽取信息和知识的过程提供指导和支持的基本原则和方法的科学 .

数据科学知识点总结 1.数据科学是基于计算机科学(数据库、数据挖掘、机器学习等)、统计学、数学等学科的一门新兴的交叉学科，也是指以数据为中心的科学 2.数据类型：离散型、连续性、符号型、文本型 3.标志性阶段：数字和文字的出现，使古人更加明确的来记录数据 电子计算机的出现，人类和数据的关系进入了第二个时代 互联网的出现，人类和数据的关系进入了第三个时代 大数据时代的来临，人类和数据的关系进入了第四个时代 4.电子元器件：A:电子管 B:晶体管 C:小规模中规模集成电路

数据采集模块：麦克风收集声音信息，微机电麦克风是电容式的变形。 惯性测量单元（IMU）可以测量速度，方向和引力，它将加速度器，陀螺仪和磁力计集成在一个基于MEMS的封装中。加速度计用来测量X,Y,Z三个方向的加速度，陀螺仪基于角动量守恒理论用于检测角速度以及角动量，磁力计用来测量磁场强度和方向，经常用在数字罗盘上。 还有接近传感器，运动传感器和红外探测传感器等。传感器大多数都会有噪声，需要仔细...

数据结构 一些概念 数据结构就是研究数据的逻辑结构和物理结构以及它们之间相互关系，并对这种结构定义相应的运算，而且确保经过这些运算后所得到的新结构仍然是原来的结构类型。 数据：所有能被输入到计算机中，且能被计算机处理的符号的集合。是计算机操作的对象的总称。 数据元素：数据（集合）中的一个“个体”，数据及结构中讨论的基本单位 数据项：数据的不可分割的最小单位。一