- 博客(52)
- 收藏
- 关注
RSS订阅
原创 java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream
在学习flink是出现以下错误：java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMetho...
2019-01-03 21:50:11
32014
11
原创 unix_timestamp 时间戳函数用法（hive）
一、unix_timestamp函数用法1）返回当前时间的时间戳select unix_timestamp();2）如果参数date满足yyyy-MM-dd HH:mm:ss形式，则可以直接unix_timestamp(string date) 得到参数对应的时间戳或者满足yyyy-MM-dd形式select unix_timestamp('2018-12-05 01:10:00',...
2018-12-26 20:53:45
107981
2
原创 虚拟机启动多个Tomcat
1·解压一个tomcat的压缩包tar -zxvf apache-tomcat-7.0.47.tar -C /usr/local2.在bin下启动./startup.sh端口号默认为8080通过web页面可以直接访问3.拷贝另一Tomcatcp -r tomcat tomcat24.修改conf下server.xml这个配置文件这里面需要修改三个地方1）这里原来是8...
2018-12-04 21:58:43
974
1
原创 centos6.5（离线）安装clickhouse
1、下载安装包网址：https://packagecloud.io/altinity/clickhouse?page=24四个安装包：clickhouse-client-19.9.5.36-1.el6.x86_64.rpm clickhouse-common-static-19.9.5.36-1.el6.x86_64.rpm clickhouse-server-19.9.5.36-1.el6.x86_64.rpm clickhouse-server-common-19.9.5.36-1.el6
2020-10-21 11:41:42
522
原创 Exception in thread “main“ org.apache.spark.SparkException: Yarn application has already ended! It m
spark 提交任务遇到的错误如下：1、错误（1）Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master. at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.w
2020-10-12 11:50:12
4432
原创 kylin Connection timed out for connection string (hadoop102:2181:2181,hadoop103:2181:2181,hadoop104
1、安装kylin启动是报错如下meout = 400002020-09-06 01:50:28,236 DEBUG [main] hbase.HBaseConnection:180 : Using the working dir FS for HBase: hdfs://hadoop102:90002020-09-06 01:50:28,312 INFO [main] imps.CuratorFrameworkImpl:224 : Starting2020-09-06 01:50:28,321
2020-09-27 18:30:41
1807
原创 Linux虚拟机Kernel panic-not syncing:Attempted to kill init解决办法
今天开虚拟机，报如下错误，无法开机故障原因是，将SELINUX修改为了disabled导致Linux系统启动故障。通过以下途径解决问题。（1）在开机读秒的时候，按下键e进入如下界面（2）再按e进入如下界面，选第二个按e进入编辑(3)在文件后面加上selinux=0按回车保存退出。(4)按b重启机器。解决问题...
2019-12-01 15:50:33
1739
原创 增大虚拟机磁盘
2、下图可以看到，硬盘空间增大为32.2GB，在设备那里可以看到有两个分区，sda1跟sda2（请忽略sda3）。接下来增加一个分区。3、增加分区1）输入 fdish /dev/sda2）m 帮助3）由此判断我们增加的分区号应该为3(dev/sda1,dev/sda2……接下来应该是dev/sda3了吧)键入n，增加一个分区，得到： dev/sda34) 输入 p5） 输...
2019-03-26 10:05:39
788
转载 MySQL 处理海量数据时的一些优化查询速度方法
在参与实际项目中，当 MySQL 表的数据量达到百万级时，普通的 SQL 查询效率呈直线下降，而且如果 where 中的查询条件较多时，其查询速度无法容忍。想想可知，假如我们查询淘宝的一个订单详情，如果查询时间高达几十秒，这么高的查询延时，任何用户都会抓狂。因此如何提高 SQL 语句查询效率，显得十分重要。查询速度慢的原因：1、没有索引或者没有用到索引2、I/O吞吐量小，形成了瓶颈效应3、...
2019-03-21 15:00:49
203
原创 Cloudera namenode 启动失败
一、在添加hdfs后，启动时发现只有namenode失败，查看日志，错误如下java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:236) at org.apache.hadoop....
2019-03-20 17:45:33
1516
原创 Hive行转列
源数据data title uv2019-01-01 docter 1002019-01-01 nurse 992019-01-02 nurse 1992019-01-02 docter 200输出数据data docter nurse 2019-01-01 100 992019-01-02 200 199在hive中创建表...
2019-03-15 16:49:43
1560
原创 Hbase清空一张表
hbase(main):005:0> truncate 'fr:test'Truncating 'FaceBase' table (it may take a while): - Disabling table... - Dropping table... - Creating table...0 row(s) in 14.4220 secondstruncate是disab...
2019-03-14 17:44:56
861
原创 Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt
在idea中通过spark读取文件是报的错误Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/slm/Desktop/tuijian.txt from hdfs://slm001:9000/C:/Users/slm/Desktop/tuijian.txt is not a valid...
2019-03-14 10:46:30
700
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
在我使用 java API操作hive报的错误Exception in thread "main" java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask a...
2019-03-12 17:01:24
1795
原创 hive一直卡住不动
在使用hive 进行sql查询的时候，涉及mr的时候就会卡主不动。jps 发现ResourceManger没有启动启动之后会没事了start-yarn.sh
2019-03-12 16:19:57
8483
1
原创 Hive基础函数
一、hive函数1、关系函数2、日期函数3、条件函数4、字符串函数5、统计函数二、hiveQL1、DDL2、DML三、其它1、in()函数2、lateral view 函数3、row_number() 和rank()4、grouping sets()函数一、hive函数1、关系函数等值比较: =语法：A=B。如果表达式A与表达式B相等，则为TRUE；否则为FALS...
2019-03-11 13:49:00
406
原创 解决：Permission denied: user=slm, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x
通过mapreduce 往hdfs包的错误原因是权限错误我使用的是hadoop用户在idea上修改权限为hadoop就可以啦-DHADOOP_USER_NAME=hadoop
2019-01-24 15:27:54
1189
原创 MongoDb快速安装
#配置mongo的yum源sudo vi /etc/yum.repos.d/mongodb-org-3.4.repo添加内容如下[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/gpgcheck=1...
2019-01-22 13:14:55
256
原创 史上最全spqrk性能调优
1、 性能调优1.1、 分配更多资源1.1.1、分配哪些资源？Executor的数量每个Executor所能分配的CPU数量每个Executor所能分配的内存量Driver端分配的内存数量1.1.2、在哪里分配这些资源？在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数：/usr/local/spark/bin/spark-sub...
2019-01-21 21:37:29
832
原创 解决：com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat
spark读取文件的时候报的一个错误：Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat...
2019-01-16 13:18:18
4850
2
原创 解决：Access denied for user ''@'localhost' (using password: YES)
在idea中通过hive on spark 读取hive中的数据，然后写入mysql 报的一个错误.Exception in thread "main" java.sql.SQLException: Access denied for user ''@'localhost' (using password: YES) at com.mysql.jdbc.SQLError.createSQL...
2019-01-09 21:33:40
8380
6
转载 解决：bash: ./a.sh: /bin/bash^M: bad interpreter: No such file or directory的解决方法
一些人喜欢用vim来写linux shell script, 但是， 有的人喜欢在Windows下用一些方便的编辑器(比如鼎鼎大名的Notepad++)写好， 然后拷贝文件到linux下， 结果呢， 在执行脚本a.sh的时候， 会出现如下问题：什么原因呢， 我们有理由怀疑是文件格式问题？ 我们用vim a.sh进入a.sh这个文件， 然后在底部模式下， 执行:set ff查看一下， 结果发现f...
2019-01-09 16:27:33
1870
原创 解决:Dynamic partition strict mode requires at least one static partition column. To turn this off set
在hive表中通过子查询插入数据到分区表时报的错误:FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=n...
2019-01-08 19:00:00
20662
1
原创 Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
原因是：引入的scala版本和提交的版本不一致解决方案：同意scala的版本就行啦
2019-01-03 21:43:48
675
转载 windows环境下netcat的安装及使用
1.下载netcat。下载地址：https://eternallybored.org/misc/netcat/2.解压文件3.把nc.exe 复制到C:\Windows\System32的文件夹下4 、 进去黑窗口使用nc开启两个黑窗口第一个执行nc -l -p 9999第二个执行nc localhost 9999执行结果转载地址：https://blog.c...
2019-01-03 21:05:51
10838
2
原创 利用MapReduce将文件内容写入Hbase表
1、把txt文件传到hdfs上数据以tab键分隔2、map端public class ReadFruitFromHDFSMapper extends Mapper<LongWritable, Text, Text, Put>{ @SuppressWarnings("deprecation") @Override protected void map(LongWritabl...
2018-12-27 22:27:55
1131
2
原创 Shell命令之sed
1、行操作查看第二行：sed -n '2p' lag_lead.txt(显示正确的结果)sed '2p' lag_lead.txt(显示全部结果 不正确)删除2 行 但不删除文件本身 sed '2d' lag_lead.txt在这它不会真正删除表中的数据 需要添加选项 i 才会真正删除再次查看数据都还在在第二行后追加hellosed '2a ...
2018-12-26 21:21:06
1230
原创 Hive中的lag和lead函数简单使用
介绍：Hive的分析函数又叫窗口函数，在oracle中就有这样的分析函数，主要用来做数据统计分析的。Lag和Lead分析函数可以在同一次查询中取出同一字段的前N行的数据(Lag)和后N行的数据(Lead)作为独立的列。这种操作可以代替表的自联接，并且LAG和LEAD有更高的效率，其中over()表示当前查询的结果集对象，括号里面的语句则表示对这个结果集进行处理。函数介绍LAGLAG(c...
2018-12-26 20:00:08
24322
2
原创 记录elasticsearch5.6所报的错误
1、cannot allocate memory解决方案： 虚拟机内存不够，关掉centos，根据你的内存大小增大内存就可以啦！2、can not run elasticsearch as root解决方案：不能再root用户下启动，切换到普通用户。3、seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CON...
2018-12-24 11:45:49
372
原创 setup缓存本地和hdfs文件
从本地读取文件,缓存到map集合中static Map<String, String> question =new HashMap<String, String>();BufferedReader bf = new BufferedReader(new FileReader("文件名")) while((line=bf.readLine())!=null) ...
2018-12-22 10:22:54
234
原创 Azkadan报错:Unrecognized SSL message, plaintext connection?
javax.net.ssl.SSLException: Unrecognized SSL message, plaintext connection?at sun.security.ssl.InputRecord.handleUnknownRecord(InputRecord.java:671)at sun.security.ssl.InputRecord.read(InputRecord.j...
2018-12-21 14:13:56
767
原创 MySql计算百分比和保留小数位
我是求两个数据差值的百分比，用到两个函数。abs（num） 绝对值concat(1,'%') 用来连接百分号round(abs(a.gailv-c.gailv)*100,1) round（num,保留的小数据位）示范：select concat(round(abs(a.num-c.num)*100,1),'%' ) from 表1 as a left join...
2018-12-19 16:54:54
3598
1
原创 解决：java.lang.NumberFormatException: For input string: "null"
在调用split()和Integer.parseInt（）时经常遇见这样的问题。 java.lang.NumberFormatException: For input string: "null"的异常，提示出现问题的位置在“ sum_mark=Integer.valueOf(objective_mark).intValue()+Integer.valueOf(subject_mark).intV...
2018-12-18 14:25:07
13569
3
原创 Mybatis简单入门
pom文件 <dependencies> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.2
2018-12-13 18:11:45
119
原创 java.lang.RuntimeException: HRegionServer Aborted
我添加协处理后在hbase shell中执行scan操作时regionserver部分挂掉，查看日志。java.lang.RuntimeException: HRegionServer Aborted at org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandL at ...
2018-12-08 12:20:31
1220
原创 Mapreduce之hbase报错java.lang.NoSuchMethodException: HbaseMapReduce.ReadHbase$ReadMap.<init>()
在编写Mapreduce读取hbase数据的时候报了一个这样的错Caused by: java.lang.RuntimeException: java.lang.NoSuchMethodException: HbaseMapReduce.ReadHbase$ReadMap.<init>() at org.apache.hadoop.util.ReflectionUtils.newI...
2018-12-07 20:23:06
348
1
原创 Hbase表预分区简单操作
在创建Hbase表的时候默认一张表只有一个region，所有的put操作都会往这一个region中填充数据，当这个一个region过大时就会进行split。如果在创建HBase的时候就进行预分区则会减少当数据量猛增时由于region split带来的资源消耗。HBase表的预分区需要紧密结合业务场景来选择分区的key值，每个region都有一个startKey和一个endKey来表示该regio...
2018-12-06 17:23:52
547
原创 Nginx实现反向代理
反向代理服务器决定哪台服务器提供服务。 返回代理服务器不提供服务器。也是请求的转发。Nginx实现反向代理两个域名指向同一台nginx服务器，用户访问不同的域名显示不同的网页内容。两个域名是www.sian.com和www.sohu.comnginx服务器使用虚拟机192.168.101.3第一步：安装两个tomcat，分别运行在8080和8081端口。第二步：启动两个tomca...
2018-12-04 22:48:46
161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人