- 博客(5)
- 收藏
- 关注
RSS订阅原创 数据分析学习（第二篇）
一、数据分析流程 Python是数据分析利器，掌握了Python的编程基础后，就可以逐渐进入数据分析的奇妙世界。笔者认为一个完整的数据分析项目大致可分为以下五个流程： 1. 数据获取 一般有数据分析师岗位需求的公司都会有自己的数据库，数据分析师可以通过SQL查询语句来获取数据库中想要数据。Python已经具有连接sql server、mysql、orcale等主流数据库的接口包，比如pymssql、pymysql、cx_Oracle等。 而获取外部数据主要有两种获取方式，一种是获取国内一些网站上
2022-05-13 21:12:33
743
原创 benchmark学习笔记（第三篇）
目录 一、基准测试的方法 1.避免一些常见错误 2. 设计和规划基准测试 3. 获取系统性能和状态 4．获得准确的测试结果 5. 运行基准测试并分析结果 6. 绘图的重要性 二、 基准测试工具 1. 集成测试工具 2. 单组件式测试工具 三、benchmark的使用 1.sysbench使用举例 （1）准备数据 （2）执行测试 （3）清理数据 2、测试结果 一、基准测试的方法 1.避免一些常见错误 只使用部分数据。例如应用需要处理几百GB的数据，但测试只使用1G
2022-05-13 01:03:28
2613
原创 benchmark学习笔记（第二篇）
目录 一、进行基准测试的目的（以对MYSQL进行基准测试为例） 二、基准测试的策略 1. 集成式（full-stack）：对整个系统进行基准测试 2. 单组件式（single-component）：单独（对MySQL）进行基准测试 三、测试指标 1.吞吐量 2.响应时间 3.并发性 4.可扩展性 一、进行基准测试的目的（以对MYSQL进行基准测试为例） 对MYSQL进行基准测试呢，主要是为了达到以下的目的。 （1）建立MYSQL服务器的性能基准线。这主要是为了测试MYSQ
2022-05-12 22:30:00
435
原创 数据分析学习笔记
目录 一、什么是数据分析 二、数据分析的目的 三、数据分析的作用 四、为什么利用Python进行数据分析 五、数据分析过程概述 六、常用库简介 七、数据分析师常用的数据分析方法有哪些？ （一）数据分析方法论 （二）数据分析的七个方法 一、什么是数据分析 数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 二、数据分
2022-05-10 16:24:30
593
原创 Benchmark学习笔记
一、Benchmark简介 Benchmark是一个评价方式，在整个计算机领域有着长期的应用，其中应用最成功的就是性能测试，主要测试负载的执行时间、传输速度、吞吐量、资源占用率等。二、Benchmark的组成 Benchmark的核心由3部分组成：数据集、 工作负载、度量指标。1、数据集 数据类型分为结构化数据、半结构化数据和非结构化数据。由于大数据环境下的数据类型复杂，负载多样，所以大数据Benchmark需要生成3种类型的数据和对应负载。 1）结构化数据：传统的关系数据模型，可用二维表结构表示。典型场景
2022-05-10 15:23:57
639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人