jie_1024-CSDN博客

原创 Kafka笔记

如果研发人员可以根据企业需求，自己重新实现分区器。需求例如我们实现一个分区器实现，发送过来的数据中如果包含 atguigu，就发往 0 号分区，不包含 atguigu，就发往 1 号分区步骤定义类实现 Partitioner 接口。/*** 1. 实现接口 Partitioner* 2. 实现 3 个方法:partition,close,configure* 3. 编写 partition 方法,返回分区号*//*** 返回信息对应的分区* * @param topic 主题。

2024-01-22 22:12:11 1021

原创 spark 学习笔记

Spark CoreSpark 是一种基于内存的快速，通用，可扩展的大数据分析计算引擎和Hadoop 进行比较Hadoop MapReduce 由于其设计初衷并不是为了满足循环迭代式数据流处理，因此在多并行运行的数据可复用场景（如：机器学习、图挖掘算法、交互式数据挖掘算法）中存在诸多计算效率等问题。所以 Spark 应运而生，Spark 就是在传统的 MapReduce 计算框架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的

2024-01-22 19:31:52 1802

原创性能调优思路（待完善）

总体性能调优思路为性能瓶颈点分析、关键参数调整以及SQL调优。在调优过程中，通过系统资源、吞吐量、负载等因素来帮助定位和分析性能问题，使系统性能达到可接受的范围。

2024-01-22 10:59:52 478

原创 lvm 分区扩容

l :显示已知的分区类型，其中82为Linux swap分区，83为Linux分区。t :改变一个分区的系统号码（比如把Linux Swap分区改为Linux分区）pvcreate /dev/sdb2 对新分区创建PV。q :退出fdisk程序，不保存任何修改。s :创建一个新的空白的Sun磁盘标签。w :保存修改结果并退出fdisk程序。o :创建一个新的空白的DOS分区表。lsblk 如果没有显示新的分区信息。b :修改bsd的磁盘标签。p :显示磁盘当前的分区表。n :增加一个新的分区。

2023-10-27 11:25:21 140

原创 scala 学习笔记

Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言（静态语言需要提前编译的如：Java、c、c++等，动态语言如：js）Scala是一门多范式的编程语言，Scala支持面向对象和函数式编程。（多范式，就是多种编程方法的意思。有面向过程、面向对象、泛型、函数式四种程序设计方法。）安装对应Java版本的scala 解压配置系统环境变量默认情况下 IDEA 不支持 Scala 的开发，需要安装 Scala 插件。可在线安装默认下，Maven 不支持

2022-07-31 20:31:45 2038

原创 shell 笔记

shell笔记

2022-07-01 20:23:04 175

转载数据一致性部分算法基础

分布式部分算法思考：**Zookeeper 是如何保证数据一致性的？**这也是困扰分布式系统框架的一个难题Paxos算法Paxos算法：一种基于消息传递且具有高度容错特性的一致性算法**Paxos算法解决的问题：**就是如何快速正确的在一个分布式系统中对某个数据值达成一致，并且保证不论发生任何异常，都不会破坏整个系统的一致性。描述算法缺陷推演下面我们针对上述描述做三种情况的推演举例：为了简化流程，我们这里不设置 Learner。Paxos 算法缺陷：在网络复杂的情况下，一个应用 Pa

2022-05-21 21:47:40 143

原创 redis 笔记

Redis 笔记概述技术分类解决功能性的问题：Java,Jsp,Tomcat,Html,RDMS，Linux解决扩展性的问题：Spring,SpringMVC,Mybatis解决性能的问题：NoSQL,Java线程,Hadoopnosql 数据库的特点-以简单的key-value模式存储场景——分布式下session存储问题：解决存在客户端cookie——不安全，网络负担效率低session——session数据冗余，节点越多浪费越大存在文件服务器或者数据库里——大量IO效率问题

2022-03-28 19:19:48 1626

原创 mysql 锁与事务

mysql 锁与事务锁按锁级别划分：共享锁与排他锁共享锁（读锁）：其他事务可以读，但不能写。多个共享锁是可以并行的共享锁就是只针对update时候加锁，在未对update操作提交之前，其他事务只能够获取最新的记录但不能够update操作。排他锁（写锁）：其他事务不能读取，也不能写。一开始就对记录上锁了，在本事务未提交之前别的事务无权进行任何操作按锁的粒度划分：表级锁，行级锁和页级锁（mysql BDB支持）表级锁和行级锁对比：表级锁： MySQL 中锁定粒度最大的一种锁

2022-03-24 17:03:41 1397

原创 mysql日志

MySql 三大日志binlog-mysql-server层redolog-innodb-存储引擎层redolog-崩溃恢复比如 MySQL 实例挂了或宕机了，重启时，InnoDB存储引擎会使用redo log恢复数据，保证数据的持久性与完整性。每条 redo 记录由“表空间号+数据页号+偏移量+修改数据长度+具体修改的数据”组成MySQL 中数据是以页为单位，你查询一条记录，会从硬盘把一页的数据加载出来，加载出来的数据叫数据页，会放入到 Buffer Pool 中。后续的查询都是先从 Bu

2022-03-23 16:14:51 891

原创 tcp https 整理笔记

TCP 如何保证可靠性应用数据被分割成 TCP 认为最适合发送的数据块。TCP 给发送的每一个包进行编号，接收方对数据包进行排序，把有序数据传送给应用层。校验和： TCP 将保持它首部和数据的检验和。这是一个端到端的检验和，目的是检测数据在传输过程中的任何变化。如果收到段的检验和有差错，TCP 将丢弃这个报文段和不确认收到此报文段。TCP 的接收端会丢弃重复的数据。流量控制： TCP 连接的每一方都有固定大小的缓冲空间，TCP 的接收端只允许发送端发送接收端缓冲区能接纳的数据。当接收方来不及处理

2022-03-23 16:13:55 1292

原创 mysql mvcc

mysql MVCCMVVC 实现：排他锁+undolog+版本事务链+一致性read-view视图+版本事务链匹配规则两段提交举例证明为什么要有prepare阶段**先写redo log后写binlog：**假设在redolog写完，binlog还没有写完的时候，mysql进程异常重启。由于我们前面说过的，redolog写完之后，系统即使崩溃，仍然能够把数据恢复回来，所以恢复后这一行c的值是1。但是由于binlog没写完就crash了，这时候binlog里面就没有记录这个语句。因此，之后备

2022-03-21 21:27:53 1952

原创 mysql索引笔记

Mysql 索引笔记create table数据类型 int char varchar decimal date(time)主键-联合主键（每张表都应该有个主键）主键——数据库表中每一行的唯一标识约束： not null/ unique / primart key / foreign key如果说数据是字典的话，索引就是字典的目录mysql常用的索引有两种B+Tree和Hash默认是前者（实际上InnoDB只支持BTree）创建索引删除索引：create index idx_ema

2022-03-21 13:40:21 929

原创 docker入门（基础篇笔记）

Docker(基础篇)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oeFBvGbZ-1639288602543)(E:/%E5%AD%A6%E4%B9%A0/%E7%AC%94%E8%AE%B0/docker.assets/576507-docker1.png)]概述一款产品：开发——上线两套环境！应用环境，应用配置!配置麻烦，不能够跨平台传统：开发jar,运维来做现在：开发打包部署上线，一套流程做完！Docker 给以上的问题，提出了解决方案java

2022-01-01 16:56:25 855

原创 logback简介及配置详解

logback简介Logback是由log4j创始人设计的另一个开源日志组件,官方网站： http://logback.qos.ch。logback的结构：主要由三个模块组成：logback-core // 基础模块，其他模块基于此logback-classic // 它是log4j的一个改良版本，同时它完整实现了slf4j API，可以更换成其它日志系统，如log4jlogback-access // 访问模块与Servlet容器集成提供通过Http来访问日志的功能用它取代log4

2021-12-12 14:11:52 487

原创 ElasticSearch（狂神说笔记）

ElasticSearch（狂神说笔记）ES安装及head插件安装声明：JDK 1.8以上，最低要求！ElasticSearch 客户端。界面工具！Java 开发，ElasticSearch的版本和我们之后对应的Java的核心jar包！版本对应！JDK环境是正常！官网：https://www.elastic.co/cn/elasticsearch/ELK三件客，解压即用‘ 我用的都是 7.6.1的版本window下安装解压即用熟悉目录bin 启动文件config 配置文件log

2021-12-11 19:55:06 2656

原创 mybatis_generator 插件笔记

MyBatis Generator的使用介绍MyBatis Generator 生成的文件包含三类：（1）Model实体文件，一个数据库表对应生成一个 Model 实体；（2）Mapper接口文件，数据数操作方法都在此接口中定义；（3）Mapper XML配置文件pom.xml 分析<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"

2021-10-14 20:16:06 157

原创 SpringMVC 狂神说笔记

SpringMVCssm框架：研究官方文档，锻炼自学能力，锻炼项目能力SpringMVC：SpringMVC的执行流程！1、回顾MVCjavaweb：模型(dao,service)、视图(jsp)、控制器(Servlet)的简写1.1、什么是MVCMVC是模型(Model)、视图(View)、控制器(Controller)的简写，是一种软件设计规范。是将业务逻辑、数据、显示分离的方法来组织代码。MVC主要作用是降低了视图与业务逻辑间的双向偶合。MVC不是一种设计模式，MVC是一种架构模式

2021-09-21 15:08:52 502

原创 Spring 笔记狂神说

Spring 开源免费的框架(容器)Spring是轻量级别的开源的JavaEE框架非入侵式的框架解决企业应用开发的复杂性核心功能:IOC、AOPIOC:控制反转,把创建对象过程交给Spring进行管理AOP:面向切面.不修改源代码进行修改Spring特点(1) 方便解耦,简化开发(2) 支持AOP(3) 方便测试(4) 方便整合其他框架(5) 方便进行事务操作(6) 降低API开发难度SSH:Spring+Struct2+HiberanteSSM:Spr

2021-09-09 16:08:30 203

原创 Mybatis 狂神说笔记

Mybatis-9.28环境:JDK 1.8Mysql 5.7maven 3.6.1SSM框架:配置文件,最好的方式:看官方文档简介1.1 什么是MybatisMyBatis 是一款优秀的持久层框架它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对

2021-09-02 13:59:42 264

原创 mysql（八）

10，JDBC(重点)10.1 数据库驱动驱动：声卡，显卡，数据库我们的程序会通过数据库驱动，和数据库打交道10.2 JDBCSUN 公司为了简化开发人员的（对数据库的统一操作），提供了一个（java操作数据库的规范），俗称 JDBC这些规范的实现由具体厂商去做~对于开发人员来说，我们只需要掌握JDBC接口的操作即可！架构——没有什么是加一层解决不了的java.sqljavax.sql还需要导入一个数据库驱动包 mysql-connector-java-5.1.47.jar第一

2021-08-16 12:24:10 241

原创 mysql（七）

8，权限管理和备份8.1 用户管理SQLyog 用户可视化管理[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rBsglxAE-1628768441361)(E:/%E5%AD%A6%E4%B9%A0/%E5%BC%80%E5%8F%91%E5%AD%A6%E4%B9%A0/mysql/mysql07.assets/image-20210811212958599.png)]SQL 命令操作本质：mysql.user 表-- 创建用户 CREATE USER

2021-08-12 19:43:49 131

原创 mysql（六）

事务6.1 什么是事务要么都成功，要么都失败SQL 执行 A给B 转账 A 1000 —>200 B 200SQL 执行 B收到A的钱 A 800 —> B 400将一组SQL 放在一个批次中去执行事务管理 ACID原子性（Atomicity）针对同一个事务要么都完成，要么都不完成一致性（Consistency）最终一致性，针对一个事务操作前与操作后的状态一致隔离性（Isolation）针对多个用户同时操作，主要是排除其他事务对本次事务的影响

2021-08-11 21:24:58 100

原创 mysql（五）

5，Mysql常用函数5.1 常用函数-- ================= 常用函数 ===================-- 数学运算SELECT ABS(-8) -- 绝对值SELECT CEILING(9.4) -- 向上取整SELECT FLOOR(9.4) -- 向下取整SELECT RAND() -- 返回一个 0~1的随机数SELECT SIGN(10)-- 判断一个数字的符号正数：1，负数：-1 0-0-- 字符串函数SELECT CHAR_LENGT

2021-08-11 21:21:41 68

原创 mysql（四）

4,DQL查询数据（最重点）[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VPsEHNzO-1628593264949)(E:\学习\开发学习\mysql\mysql04.assets\image-20210809103926011.png)]SELECT语法SELECT [ALL | DISTINCT]{* | table.* | [table.field1[as alias1][,table.field2[as alias2]][,...]]}FROM ta

2021-08-10 19:02:04 151

原创初识java网络编程

网络编程1.1 概述打电话——连接——接了——通话 TCP发短信——发送了就完事了——接收 UDP计算机网络：计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统网络编程的目的：传播，数据交换，通信想要达到这个效果需要什么：如何准确的定位网络上的一台主机地址：192.168.16.125 端口port，定位到这个计算机上的某个资源找到了这个主机，如何

2021-08-09 11:59:09 182

原创初识HTML

HTMLhyper text markup language(超文本标记语言)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eSBAjljw-1628480782770)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20210704100045599.png)]HTML 5+CSS 3[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-80DlS

2021-08-09 11:47:38 121

weixin_45515047的博客