- 博客(48)
- 收藏
- 关注
RSS订阅原创 PySpark数据输出
将RDD转换为Python对象（数据输出）创建RDD的时候，sc.parallelize方法传入numSlices参数为1。功能：将RDD各个分区内的数据，统一收集到Driver中，形成一个List对象。掌握将RDD的结果输出为Python对象的各类方法。功能：取RDD的前N个元素，组合成list返回给你。功能：计算RDD有多少条数据，返回值是一个数字。【注意：数据输出可用的方法是很多的】1.掌握将RDD的内容输出到文件中。功能：将RDD的数据写入文本文件中。1.RDD输出到文件的方法。
2025-09-09 12:57:01
82
原创 SQL-DQL
分组聚合应用场景非常多，如：统计班级中，男主和女生的人数，这种需求就需要：按性别分组；执行顺序：from ->where ->group by 和聚合函数 ->select ->order by ->limit。GROUP BY中出现了哪个列，哪个列才能出现在SELECT中的非聚合中。在SQL中，通过SELECT关键字开头的SQL语句，来进行数据的查询。1.掌握DQL:SELECT语句进行基础的数据查询。1.掌握DQL：GROUP BY 进行分组聚合查询。1.排序和分页限制的语法是。1.分组聚合的语法是。
2025-09-09 10:36:28
234
原创 Pyspark案例实战
1.了解什么是Spark、PySpark2.了解为什么学习PySpark3.了解课程是如何和大数据开发方向进行衔接Spark是什么Apache Spark是用于大规模数据处理的统一(unified)分析引擎简单来说，Spark是一款分布式的计算框架，用于调度成百上千的服务器集群，计算TB、PB乃至EB级别的海量数据Spark作为全球顶级的分布式计算框架，支持众多的编程语言进行开发。而Python语言，则是Spark重点支持的方向。
2025-09-09 10:35:58
296
原创 PySpark基础准备
同其他的Python第三方库一样，PySpark同样可以使用pip程序进行安装。PySpark的执行环境入口对象是：类 SparkContext的类对象。想要使用PySpark库完成数据处理，首先需要构建一个执行环境入口对象。SparkContext类对象，是PySpark编程中一切功能的入口。PySpark的功能都是从SparkContext对象作为开始。2.掌握PySpark执行环境入口对象的构建。3.理解PySpark的编程模型。1.掌握PySpark库的安装。3.PySpark的编程模型是。
2025-09-09 10:35:33
138
原创 PySpark数据计算
功能：map算子 是将RDD的数据一条条处理（处理的逻辑 基于map算子中接收的处理函数），返回新的RDD。PySpark的数据计算，都是基于RDD对象来进行的，那么如何进行呢？对于返回值是新RDD的算子，可以通过链式调用的方式多次调用算子。函数对RDD数据逐个处理，得到True的保留至返回值的RDD中。RDD，自动按照Key分组，然后根据你提供的聚合逻辑，完成。功能：对RDD数据进行排序，基于你指定的排序依据。对RDD内的元素逐个处理,并返回一个新的RDD。功能:对RDD数据进行去重，返回新True。
2025-09-08 19:52:16
339
原创 PySpark数据输入
RDD对象称之为分布式弹性数据集，是PySpark中数据计算的载体，它可以：提供数据存储；数据计算的方法，返回值仍旧是RDD（RDD迭代计算）后续对数据进行各类计算，都是基于RDD对象进行。各类数据的计算方法，也都是RDD的成员方法;RDD的数据计算方法，返回值仍旧是RDD对象。PySpark也支持通过SparkContext入口对象，来读取文件，来构建出RDD对象。字符串会被拆分为1个个的字符，存入RDD对象；PySpark支持多种数据的输入，在输入完成后，都会得到一个：RDD类的对象。
2025-09-08 13:31:06
197
原创 Python & Mysql
pymysql库在执行对数据库有修改操作的行为时，是需要通过链接对象的commit成员方法来进行确认的，只有确认的修改，才能生效。如果不想手动commit确认，可以在构建链接对象的时候，设置自动commit的属性。在Python中，使用第三方库:pymysql来完成对MySQL数据库的操作。除了使用图形化工具以外，也可以使用编程语言来执行SQL从而操作数据库。Connection(主机，端口，账户，密码)即可得到链接对象。链接对象,close()关闭和MySQL数据库的连接。使用第三方库：pymysql。
2025-09-07 10:09:24
239
原创 SQL-DML
DML是指数据操作语言，英文全称是Data Manipulation Language，用来对数据库中表的数据记录进行更新。字符串的值，出现在SQL语句中，必须要用单引号包围起来。插入insert、删除delete、更新update。1.掌握DML:INSERT数据插入。2.掌握DML:DELETE数据删除。3.掌握DML:UPDATA数据更新。1.DML插入、删除、更新的语法。
2025-09-05 19:24:46
320
原创 SQL基础与DDL
SQL全称:Structured Query Language,结构化查询语言，用于访问和处理数据库的标准的计算机语言SQL语言1974年由Boyce和Chamberlin提出，并首先在IBM公司研制的关系数据库系统SystemR上实现经过多年发展，SQL以成为数据库领域统一的数据操作标准语言，可以说几乎市面上所有的数据库系统都支持使用SQL语言来操作简单来说，SQL语言就是操作数据库的专用工具。
2025-09-05 17:53:20
235
原创 MySQL的入门使用
使用命令提示符进行MySQL的操作，不是太方便吗，一般开发者都会使用第三方的图形化工具进行使用，可用于MySQL的图形化工具非常多，课程使用跨平台、开元、免费的图形工具:DBeaver。打开：命令提示符程序，输入：mysql -uroot -p,然后回车后输入密码，即可进入命令行环境。下载地址：https://dbeaver.io/download。选择免费的社区版（DBeaver Community)1.掌握使用图形化工具操作MySQL数据库软件。MySQL安装好后，就key简单的尝试使用它。
2025-09-05 14:45:01
316
原创 1.数据库介绍
理解数据库的作用了解常见的数据库软件无处不在的数据库信息化社会，无处不在的就是数据数据包含数据的存储[txt\excel\数据库]和数据的计算两部分编程语言可以归纳为，数据的计算一类数据库管理系统（数据库软件）那么如何实现这种数据库形式的数据管理呢需要借助：数据库管理系统，也就是常说的数据库软件数据库软件是非常多的，常见的有:甲骨文、mysql、SQLServer、PostgreSql、SQLite数据库和SQL的关系数据库是用来存储数据的，在这个过程中，会涉及到：数据的增删改差和数据库、
2025-09-05 11:34:10
146
原创 SQL入门和实践【前言】
无处不在的SQL不管是何种开发语言，亦或是何种开发方向，SQL都是开发人员无法绕开的话题。除了一门趁手的编程语言外，SQL语言也是开发人员人人必备的开发技能总结1.为什么学习SQL后面的实战案例需要用SQLSQL是开发人员的必备技能2.学到什么程度简单的增删改查，做个SQL入门后续需要学习更详细的SQL可以由此网址进入:https://www.bilibili.com/video/BV1F411z7Pu。
2025-09-05 09:35:08
178
原创 Python综合案例
4.pyecharts绘图:以面向对象思想重新认知pyecharts。作为面向对象的程序员，那么我们将使用面向对象的思想来进行任务的开发。2.基于面向对象思想重新认知第三方库使用（PyEcharts)1.读取数据：使用设计FileReader类，完成数据的读取。1.使用面向对象思想完成数据读取和处理。3.计算数据对象：对对象进行逻辑计算。2.封装数据对象：设计数据封装类。
2025-09-05 09:23:53
272
原创 Python魔术方法
因为我们当时定义时候的类不支持比较的功能，所以它没有办法通过小于大于去比较，它不知道它按照什么东西来比较，但是如果想让它进行比较的时候，可以使用__it__比如说__init__构造方法，也是Python类内置的方法之一，这些内置的类方法，各有个自的特殊的功能，这些内置方法我们称之为:魔术方法。内存地址没有多大作用，可以通过__str__方法，控制类转换为字符串的行为。当类对象需要被转换为字符串之时，会输出如上结果（内存地址）同时完成：小于符号和大于符号2种比较。在类中实现__it__方法，即可以。
2025-09-03 19:07:33
301
原创 Python类型注释
python1在3.5版本的时候引入了类型注解，以方便静态类型检查工具，IDE等第三方工具。类型注解只是提示性的，并非决定性的。帮助第三方IDE工具（如PyCharm）对代码进行类型推断，协助做代码提示。类型注解：在代码中涉及数据交互的地方，提供数据类型的注解（显示的说明）函数（方法）形参列表和返回值的类型注解。函数（方法）的形参和返回值的类型注解。question：为什么需要类型注解。语法2：在注解中，#type:类型。1.什么是类型注解，有什么作用？2.掌握变量的类型注解语法。3.变量的类型注解语法。
2025-09-03 16:08:01
244
原创 Python继承
一旦复写父类成员，那么类对象调用成员的时候，就回调用复写后的新成员，如果需要使用被复写的父类的成员，需要特殊的调用方式。子类继承父类的成员属性和成员方法后，如果对其“不满意”，那么可以进行复写，即：在子类中重新定义同名的属性或方法即可。只是一个普通的占位语句，用来保证我们的函数或者方法，或者类定义的完整性，表示无内容，空的意思。注意：只可以在子类内部调用父类的同名成员，子类的实体类对象调用默认是调用子类复写的。使用父类的成员变量和成员方法。继承就是一个类，继承另外一个类的成员变量和成员方法。
2025-09-03 15:06:13
305
原创 Python封装
同样在类中描述属性和方法的时候也需要达到这个要求，就需要定义私有成员了。既然现实事物有不公开的属性和行为，那么作为现实事物在程序中映射的类，也应该支持。现实世界中的事物，有属性和行为。在类中提供仅供内部使用的属性和方法，而不对外开放（类对象无法使用）类中的其它成员可以访问私有成员。私有成员无法被类对象使用，但是可以被其他的成员使用。将现实世界事物在类中描述为属性和方法，，即为封装。成员变量和成员方法的命名均以__作为开头即可。封装到类中，描述为：成员变量和成员方法。封装表示的是，将现实世界的属性和行为。
2025-09-02 14:58:48
555
原创 Python类和对象
需要基于图纸生产实体（对象），才能正常工作，这种套路，称值为：面向对象编程。类也可以包含属性和行为，所以使用类描述现实世界事物是非常合适的。面向对象编程：设计类、基于类创建对象，由对象做具体的工作。类是程序中的“设计图纸”，对象是基于图纸生产的具体实体。即设计类，基于创建对象，并使用对象来完成具体的工作。现实世界的事物也有属性和行为，类也有属性和行为。使用程序中的类，可以完美的描述现实世界的事物。基于类创建对象的语法：对象名 = 类名称()1.掌握使用类描述现实世界事物的思想。2.类和对象的关系是什么。
2025-08-31 15:04:30
153
原创 Python成员变量
def 方法名(self,形参1，……，形参N):方法体可以看到，在方法定义的参数列表中，有一个：self关键字self关键字是成员方法定义的时候,必须填写的它是用来表示类对象自身的意思；当我们使用类对象调用方法的是，self会自动被Python传入；在方法内部，想要访问类的成员变量，必须使用self注意事项：self关键字，尽管在参数列表中，但是传参的时候可以忽略它eg:print("Hello 大家好")print(f"Hello 大家好.{msg}")
2025-08-31 09:35:07
120
原创 Python初始对象
1.生活中或程序中，我们都可以使用设计表格、生产表格、填写表格的形式组织数据。2.1 设计表格,称之为：设计类（class)2.2 打印表格,称之为：创建对象。
2025-08-30 17:15:40
103
原创 Python（异常、模块、包）
制定自定义模块Python中已经帮我们实现了很多的模块，不够有时候，我们需要一些个性化的模块，这里就可以通过自定义模块实现,也就是自己制作一个模块注意：每一个Python文件都可以作为一个模块，模块的名字就是文件的名字，也就是说自动一模块名必须要符合标识符命名规则# 第一步 右键python文件，起名"my_module1"print(a+b)# 第二步 导入自定义模块使用# 第一种方式 import# 第二种方式 fromtest(1,2)注意事项# 模块1代码。
2025-08-29 11:43:34
629
原创 副业（python）
1989年，为了打发圣诞节假期，gudio can R ossum吉多 范罗苏姆（龟叔）决心开发一个新的解释程序（Python雏形)1991年，第一个Python解释器诞生Python这个名字，来自龟叔所挚爱的电视剧Monty Python’s Flying Circus用于人类和计算机进行交流的一种语言，通过编写编程语言的代码，去指挥计算机工作。它无法直接和计算机沟通，需要翻译工具（解释其或编译器）将代码翻译成二进制，从而实现和计算机的畅顺沟通。
2025-08-29 11:42:38
783
原创 java题库
1.已经有个升序的数组，要求插入一个元素，该数组顺序依然是升序[10,12,45,90]添加23后，数组为[10,12,23,45,90】[https://editor.csdn.net/md/?articleId=120642030]: 考点：本质数组扩容+定位 1.先确定 添加数应该插入到哪个索引“index=-1” 2.扩容public class demo {public static void main
2021-10-07 22:01:16
114
转载 java生成随机数
目录第一种： 使用 Math中的random()方法，生成[0, 1.0)的double类型数据第二种： 使用java.util.Random类实现第三种方法： 通过System.currentTimeMillis() 获取一个当前时间毫秒数的long随机数第一种： 使用 Math中的random()方法，生成[0, 1.0)的double类型数据想要得到某个范围内的随机数： （数据类型)(最小值+Math.random()*(最大值-最小值+1))例： 得到1到100的随机数(
2021-10-07 21:29:38
223
原创 mysql连接
mysql连接左连接left join【最常用】右连接right join内连接inner join左连接left join【最常用】left join 表名 using(列名）结果：A表全部显示，B表只显示满足条件的部分提示：以下是本篇文章正文内容，下面案例可供参考右连接right joinright join 表名 using（列名）结果：与left join正好相反，B表全部显示，A表只显示满足条件的部分内连接inner join#join 表名 on结果：A，B都满足条件的部
2021-10-06 19:35:47
126
转载 史上最全最实用HBuilder快捷键大全
史上最全最实用HBuilder快捷键大全一、文件操作二、编辑操作三、插入操作四、转义操作五、选择操作六、跳转操作七、查找操作八、运行九、视图一、文件操作新建菜单： ctrl + N新建： ctrl + N关闭： ctrl + w全部关闭： ctrl + shift + w保存： ctrl + s全部保存： ctrl + shift + s刷新： F5属性： Alt + Enter二、编辑操作激活代码助手：Alt + /显示方法参数提示： Alt + Shift +
2021-09-08 10:05:31
632
原创 abstract关键字
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档abstract关键字abstract可以修饰的结构：类、方法一、abstract修饰类表示不能实例化对象一定有构造器【只要是类就会有构造器】便于子类实例化时使用开发中都会提供抽象类的子类，让子类对象实例化，完成相关的操作二、abstract修饰方法没有方法体，只有方法的声明包含抽象方法的一定是抽象类，抽象类可以没有抽象方法若子类重写了父类的所有抽象方法以后，此方法可以实例化【若没有重写全部的抽象方法，则此子类也是抽象类，要用abstrac
2021-09-08 00:23:40
155
原创 final关键字
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档final关键字：最终的final用来修饰的结构：类、方法、变量final修饰一个类代表不能继承final修饰一个方法代表不能重写【可以被重载】final修饰变量，此时“变量”就称为一个常量，不能再被修改。final修饰属性：可以考虑的位置有：显示初始化、代码块中赋值、构造器中初始化final修饰局部变量1.引入库总结final用来修饰的结构：类、方法、变量final修饰一个类代表不能继承 如：StringBuffer类、Str
2021-09-07 10:01:08
129
原创 对象可以赋值的位置
四、对象可以赋值的位置 1. 默认初始化 2. 显示初始化 /在代码块中赋值 [要不先显示初始化，要不先在代码块中赋值] 3. 构造器中初始化 4. 有了对象以后，可以通过“对象.属性”或“对象.方法”的方式，进行赋值public class DemoTest {public static void main(String[] args) { Demo demo=new Demo(); System.out.prin
2021-09-06 15:13:33
149
原创 类的成员四---代码块（初始化块）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档类的成员四---代码块一、 作用用来初始化类或对象二、 代码块如果有修饰的话，只能使用static三、分类：静态代码块vs非静态代码块1.静态代码块（1）内部可以有输出语句（2）随着类的加载而执行，而且只执行一次2.非静态代码块（1）内部可以有输出语句（2）随着对象的创建而执行（3）每创建一个对象，就执行一次非静态代码块（4）作用：可以在创建对象时，对对象的属性等进行初始化四、对象可以赋值的位置五、应用六、总结一、 作用用来初始化类或
2021-09-06 15:08:36
96
原创 main方法
main方法一、main()方法的使用说明1. main()方法作为程序的入口2.main（）方法也是一个普通的静态方法3.main（）方法可以作为我们与控制台交互的方式，（之前，使用Scanner）二、main方法与控制台交互的使用步骤三、 总结一、main()方法的使用说明1. main()方法作为程序的入口示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。2.main（）方法也是一个普通的静态方法3.main（）方法可以作为我们与控制台交互的方式，（.
2021-09-05 21:42:15
395
原创 单例设计模式（Singleton）
单例设计模式（Singleton）实现方法一、饿汉式二、懒汉式区分饿汉式和懒汉式饿汉式：好处（是线程安全的），坏处（对象加载的时间过长）懒汉式: 好处（延迟对象的创建），坏处（非线程安全）单例设计模式应用场景总结单例设计模式：采取一定的方法保证在整个的软件系统中，某个类只能在一个对象实例实现方法一、饿汉式public class SingletonTest {public static void main(String[] args) { Bank bank=Bank.getInstan
2021-09-05 20:48:20
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人