孙小思思-CSDN博客

原创阿里云部署k8s集群

阿里云部署k8s集群前言1、k8集群架构Kubernetes Cluster = N Master Node + N Worker Node：N主节点+N工作节点； N>=12、机器准备：阿里云 4c8g * 3, CentOs8.4一、初始化机器1、安装yumyum install -y yum-utils##配置yum 源sudo yum-config-manager \--add-repo \http://mirrors.aliyun.com/docker-ce/l

2022-02-10 23:57:20 5176 1

原创 MacOS M1编译Flink 源码问题汇总

macos M1编译Flink 源码问题一、flink编译flink-runtime-web出现Failed to execute goal com.github.eirslett:frontend-maven-pluginFailed to execute goal com.github.eirslett:frontend-maven-plugin:1.6:install-node-and-npm (install node and npm) on project tdpco-web-app-ui:

2021-09-22 23:03:02 1746 2

原创 SparkStreaming将kafka的offset维护在redis中

1、`pubc class JStreamingRecommender {private static RedisUtils redisUtils = RedisUtils.getInstance();public void createKafkaStream() {}public static void main(String[] args) { String brokerList = "192.168.31.100:9092"; String group = "bhy"

2020-10-10 10:28:42 341

原创 hdfs小文件合并方法(hive/spark/历史文件)

hive新增数据合并方法1、入数据之前设置session级别的参数set mapred.reduce.tasks=10根据表的大小估算出参数，保证满足以下公式128M* mapred.reduce.tasks=表的大小（M）2、在sql语句中增加均衡分布insert overwrite table bhy.cp_test partition(date_no=‘20170503’,hour_no=‘03’) select t.source_type,t.starttime,t.endtime,t.acc_

2020-09-14 15:20:02 953

原创 mapreduce优化总结

mapreduce优化总结mr的执行过程1、客户端会根据待处理数据的信息，形成任务分配规则：block块 1-128 决定map数量split切片 1-128 决定maptask数量2、首先客户端submit一个mr任务给yarn(job.xml、jar包、切片信息)，yarn的resourceManager会指定一个nodemanager分配一个容器来启动applicationMaster（每一个job都会有一个applicationmaster）。applicationmr会计算出map数量

2020-09-11 13:00:40 360

原创 kafka如何保证不丢失数据呢

kafka如何保证不丢失数据呢kafka主要数据传输点主要有三个1、保证producer写入过程中不丢数据2、保证broker中不丢数据3、保证消费者消费时不丢数据场景一 producer写入过程中丢失数据：–首先得了解kafka的写入流程才能找寻到producer丢数据的场景1、producer首先从zk的"…/state"节点中get到本分区中leader的信息2、producer将信息推送给leader3、leader顺序写入本地log4、followers从leader pull

2020-09-09 15:24:55 717 1

原创 hdfs的常用命令

–查看文件大小hdfs dfs -du -s -h /hbase/data/clzx_opr/RM_MKTGROUPINTEREST_INFO–查看最后5行hdfs dfs -cat /user/hive/warehouse/clzxdb.db/rm_contact_result_extract_sn/000012_0 | tail -5–more方式查看文件hdfs dfs -cat /user/hive/warehouse/clzxdb.db/rm_contact_result_extra

2020-08-29 20:20:59 253

原创新手安装redis过程

安装redis过程先用root账户登录centos7运行 yum install gcc 命令安装redis所需要的jar包以及依赖下载redis安装包wget http://download.redis.io/releases/redis-4.0.6.tar.gz解压安装包tar -zxvf redis-4.0.6.tar.gz因为实在~目录下下载r...

2019-09-30 17:43:51 249

原创 SpringCloud学习笔记01

SpringCloud简介微服务的实现方式之一， Spring最擅长的就是集成，把世界上最好的框架拿过来，集成到自己的项目中它将当前流行的技术整合到一起，实现了诸如：配置管理，服务发现，智能路由，负载均衡，熔断器，控制总线，集群状态等，其主要涉及的主线有netfilx:eureka 注册中心zuul 服务网关ribbon 负载均衡feign 服务调用Hystix ...

2019-04-12 11:18:51 202

原创 laydate模块出现laydate is undefine以及动态设置最大值最小值

laydate模块出现laydate is undefind<script src="layDate-v5.0.9/laydate/laydate.js"></script>laydate.render({ elem: 'input[name=start]' }); laydate.render({ elem:...

2019-04-11 09:42:07 1839

原创 layUi学习笔记

layui是前端框架与组件的关系layer是弹出层效果组件layDate日期选择器组件layIM 即时通信组件layui下载地址（http://www.layui.com）layer的使用方法lay是web弹层组件，下载地址http://layer.layui.com/在页面中引入jquery框架（1.8以上）将下载包中的layer文件夹完整复制到项目中引入layer目...

2019-04-10 17:42:00 1229