- 博客(6)
- 收藏
- 关注
RSS订阅原创 2021-02-27
作业1 大数据生态和Spark简介 大数据本身是个很宽泛的概念，Hadoop 生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计
2021-02-27 09:42:06
139
原创 笔记1
一、文件操作 1.open函数 Python使用poen函数操作文件open(file,mode,encoding)file: 文件名 绝对路径 、相对路径open(“D:\Python\test\a.txt”)open(r"E:\java\jdbc\mysql1-5.10.11.jar")open("/home/stu/test/a.txt")open(“test/a.txt”)mode :“r” “w” “a” “r+” “w+” “a+” “b”使用“w”模式创建文件，慎用，文件存在时会覆盖原文件使
2020-12-08 21:54:56
96
原创 2020-12-08
创建一个list列表: liebiao = list([“参数1”,“参数2”])liebiao = [“参数1”,“参数2”]快速创建一个1~9的列表: liebiao = [i for i in range(1,10)] 列表操作方法: list.append(obj) 在列表的末尾添加新的对象list.count(obj) 统计某个元素在列表中出现的次数list.extend(*obj) 在列表末尾一次性追加另一个序列中的多个值(用新列表扩展原来的列表)list.index
2020-12-08 21:52:59
90
原创 笔记2
lambda参数1,参数2… :返回值 print((lambda x,y,z:x+y+z)(1，2，3))递归函数程序调用自身的编程技巧称为递归( recursion)。#使用递归方法实现5!def func(n):ifn== 1 orn== 0:return 1else:return n * func(n-1)? print(func(5))递归函数优缺点递归函数的优点就是定义简单，逻辑清楚。缺点是递归效率不高，因为每一次调用都有相应的数值存放在栈，而栈的空间是有限的因此在写函数时候要注意不可无限递归或
2020-12-08 21:50:47
119
原创 2020-12-02
python笔记 集合（set）是一个无序的不重复元素序列。 可以使用大括号 { } 或者 set() 函数创建集合，注意：创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。 basket = {‘apple’, ‘orange’, ‘apple’, ‘pear’, ‘orange’, ‘banana’} print(basket) # 这里演示的是去重功能{‘orange’, ‘banana’, ‘pear’, ‘appl
2020-12-02 20:57:15
119
原创 python第三次笔记
python第三次笔记@TOC 一、Python随机数模块，random import random print（random.random（）） 输出0～1随机小数 print（random.randint（a，b）） 输出a～b随机整数 print（random.randint（0，10，2）） 输出0～10的复数，带步长随机整数 print（dir（random）） 随机列表中的元素 二、time时间模块 时间三种表达形式 1时间戳（小数）1970－01－01（格林威治天文台时间）秒数 方便计算机存储
2020-11-16 17:00:03
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人