- 博客(22)
- 收藏
- 关注
RSS订阅原创 HBASE完全分布式
1.将hbase通过Xftp传入Red-Hat 2.tar -zxvf hbase -C /usr/local (解压到目录下) 3.cd /usr/local/hbase/conf (到conf修改hbase-env.sh,hbase-site.xml) 4.vi hbase-env.sh 4.1.set nu (方便查找) 4.2.修改27行将jdk路径设置 4.3.设置ZK 5.vi...
2019-12-06 09:55:20
229
1
原创 Hbase
创建名称空间 create_name ‘名称’ 展示名称空间 list_namespace 列出名称空间的所有表 list_namespace_tables ‘hbase’ 创建表 create ‘nds1:t1’, ‘f1’, ‘f2’ 添加数据 put ‘nds1:t1’, ‘r1’, ‘f1:name’, ‘xxx’ 扫描 scan ‘nds1:t1’ 查看列族 get ‘nds1:t1’...
2019-12-03 20:55:11
147
原创 sqoop
// sqoop 从mysql导入到hdfs ./sqoop import connect jdbc:mysql:localhost:3306/1704e \ #sql连接 –username root \ #用户 –password 123456 \ #密码 –table tb_jk \ #表 –target-dir /sqooptest \ #储存hdfs的路径 –fields-termina...
2019-12-01 12:08:26
240
原创 Spark Streaming 总和练习
创建主题 bin/kafka-topics.sh -create --zookeeper hdp01:2181,hdp01:2181,hdp03:2181 -replication-factor 3 --partitions 3 --topic my ================================================================+ 生产者 bin/...
2019-11-15 16:30:56
287
原创 spark core 与 streaming 处理过程
streaming (微批处理):以wordcount为例 lines Dstream包含多个时间片段信息,将0-1m的时间片段信息底层转换RDD Spark Core 在一个driver 中创建一个SparkContext 同时包括DAGscheduler调度器(划分stage 以宽/窄依赖进行划分阶段) 一个stage 划分一个tabk 交给Taskscheduler spark-submit...
2019-11-14 14:48:28
256
原创 Scala函数
/*普通函数使用*/ var a =(a:String,b:String)=>println(a+b); a("你好","python") ----------------------------------------------------- /*匿名函数创建使用*/ ((a:String,b:String)=>println(a+b))("hello","java") -----...
2019-11-05 21:27:00
137
原创 Scala伴生类伴生对象
object Helloword { } /*是上述的伴生类*/ class Helloword{ var name = "唐三" /*辅助构造器*/ /*多个参数逗号分隔*/ def this(name:String){ this() println("执行辅助构造器") this.name=name } } ---------------...
2019-11-05 20:39:10
154
原创 Scala002
//Array (1.)var a = Array(1,2,3) (2.)val arr:Array[Int] = new Array[Int](3) arr(0) = 8 arr(1) = 6 arr(2) = 9 // ArrayBuffer var a = scala.collection.mutable.ArrayBuffer[Any]() ...
2019-11-02 15:51:10
202
原创 scala001
// scala for循环breakes使用 def main(args: Array[String]): Unit = { val u = new Breaks; //break包外 u.breakable( for ( i<- 0 to 10 ) { if(i==5){ u.break() } ...
2019-11-02 13:42:04
145
原创 hive语句大全
hive数据库是hdfs上的文件夹，表也是文件夹，表里的数据是文件 hive建表 create table t_student(id string,name string,age int,classNo string) row format delimited fields terminated by ‘,’; 创建外部表 create external table t_a(id string,n...
2019-10-25 15:55:30
1037
原创 第11天笔记
启动 kafka bin/kafka-server-start.sh -daemon config/server.properties 查看卡夫卡列表 bin/kafka-topics.sh --zookeeper hdp01:2181 --list 创建主题 bin/kafka-topics.sh --create --zookeeper hdp01:2181,hdp02:2181,hdp03:...
2019-10-21 19:32:42
144
原创 Zookeeper集群搭配
解压 tar -zxvf zookeeper3.4.14.tar.gz -C /usr/local vi zoo.cfg dataDir=/usr/local/zkdata 在最后添加 server.1=hdp1:2888:3888 server.2=hdp2:2888:3888 server.3=hdp3:2888:3888 mkdir -p /usr/local/zkdata 在zkdata目...
2019-10-15 18:54:30
197
原创 MapperReducer之WordCount 笔记
前情提要 : 1.HDFS中有300MB a.txt和80MB b.txt 2.写一个PV或者UV程序 执行过程 1.client(客户端)请求yarn的resourcemanager申请提交任务 2.resourcemanager接受到请求返回给客户端 jobID和hdfs提交地址 (hdfs://hdp1:8020/tmp…/…/staing/jobid) 3.扫描输入路径的文件划分切...
2019-10-13 09:44:18
309
原创 伪分布搭建
1.将jdk上传解压到linux目录下 tar -zxvf jdk -C /usr/local 2.配置jdk文件 vi /etc/profile JAVA_HOME=/usr/local/jdk1.8.0_192 PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME PATH 刷新 :source /etc/profile 3.安装完全分布式hdfs t...
2019-10-10 13:46:23
292
原创 HDFS上传linuxSHELL
HDFS上传 1_hadoop fs -mkdir /test (在hadoop创建一个文件) 2_ hadoop fs -ls /test(浏览文集夹) 3_ hadoop fs -put jdk-8u192-linux-x64.tar.gz /test(上传到指定文件夹) 4_hadoop fs -lsr /(递归查看所有文件和目录) 5_hadoop fs -cat /test/a.txt(...
2019-09-28 18:11:47
155
原创 hadoop集群搭配yarn配置
hadoop集群搭配 0.准备工作 修改linux主机名 hostnamectl set-hostname “hdp1” hostnamectl set-hostname “hdp1” --static hostnamectl set-hostname “hdp1” --transient hostnamectl set-hostname “hdp1” --pretty 修改网络映射(每台虚拟机都...
2019-09-28 18:05:42
691
原创 爬虫
// 记录文章数 int count = 0; // 获取连接对象 Connection connect = Jsoup.connect("https://news.163.com/"); // 获取文档对象 Document document = connect.get(); // 获取当前文档的所有超链接 Elements ahrefs = document.select("a...
2019-09-19 11:22:29
171
原创 kafka集群部署
kafka集群部署 kafka设置群集 必要前提：zookeeper的集群是正常。 准备三台虚拟机 确定 三台主机IP 1.zookeeper集群搭建 1.2 zookeeper 搭建zookeeper的集群 1.2.1. . zookeeper的配置文件 zoo.cfg 每个文件都加入如下内容 server....
2019-09-19 11:11:34
214
原创 黎明杀机手游注册登陆详解
黎明杀机手游注册登陆详解 1.OurPlay 2.酷酷跑 3.Qoo APP 1.打开Qoo APP 下载黎明杀机 2.打开酷酷跑,申请账号 2.1先点击一件安装再进行点击申请 3.打开OurPlay 将黎明杀机导入 3.选择加速节点 4.点击导入的黎明杀机 5.登陆游戏账号 ...
2019-09-18 07:50:01
12314
原创 Linux之kafka
Linux之kafka kafuka是开源消息系统,由Scala写成 kafka 1.异步 2.解耦 3.高容错 在linux中上传kafka 使用rz命令上传 如果 rz命令提示报错 先执行 yum -y install lrzsz 之后再使用rz命令 上传完成 这里我上传了 zookeeper和kafka 将kafka进行解压 使用命令 tar -zxvf kafka*******....
2019-09-10 16:50:15
160
原创 Linux笔记命令
Linux笔记命令 cd ‘路径’ 切换命令 ll ‘路径’ 查看当前目录下文件 cat ‘文件名’ 查看文件内容 mkdir -pv ‘多级目录’ 创建多级目录 ps -ef 查看所有进程 kill -9 ‘进程号’ 杀死进程 vim ‘文件名.xx’ 编辑 touch ‘文件名.xx’ 创建文件 tar -zcvf ‘xx.tar’ xx.txt 压...
2019-09-06 11:35:14
101
原创 虚拟机内安装linux
虚拟机内安装linux 需要: 1.VMware(个人推荐使用10版本) 2.CentOS镜像 1.打开虚拟机 选择文件,新建虚拟机 2.选择典型,下一步 3.选择稍后安装,下一步 4.选择linux,版本选择CentOS 64位 5.重命名,安装路径,下一步 6.选择第二个,下一步 7.选择自定义 1.修改新CD/DVD 7.1修改新CD/DVD 1.选...
2019-09-06 10:50:29
125
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人