Redis配置与优化
关系数据库与非关系型数据库
关系型数据库
关系型数据库是–个结构化的数据库,创建在关系模型(二维表格模型)基础上,一般面向于记录。SQL语句(标准数据 查询语言)就是一种基于关系型数据库的语言,用于执行对关系型数据库中数据的检索和操作。
主流的关系型数据库包括Oracle、MySQL、 SQL Server、Microsoft Access、 DB2等。
非关系型数据库
NoSQL (NoSQL=NotOnlySQL), 意思是“不仅仅是sQL”,是非关系型数据库的总称。除了主流的关系型数据库外的数据库,都认为是非关系型。
主流的NoSQL 数据库有Redis、MongBD、Hbase、Memcached 等。
关系型数据库和非关系型数据库区别
数据存储方式不同
关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。
与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据通常存储在数据集中,就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素.
1.关系型:依赖于关系模型E-R图,同时以表格式的方式存储数据
2.非关系型:除了以表格形式存储之外,通常会以大块的形式组合在一起进行存储数据
扩展方式不同
SQL和NoSQL数据库最大的差别可能是在扩展方式上,要支持日益增长的需求当然要扩展。要支持更多并发量,SQL数据库是纵向扩展,也就是说提高处理能力,使用速度更快速的计算机,这样处理相同的数据集就更快了。因为数据存储在关系表中,操作的性能瓶颈可能涉及很多个表,这都需要通过提高计算机性能来克服。虽然SQL数据库有很大扩展空间,但最终肯定会达到纵向扩展的上限。
而NoSQL数据库是横向扩展的。因为非关系型数据存储天然就是分布式的,NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器(节点)来分担负载。
1.关系:纵向(天然表格式)
2.非关:横向(天然分布式)
对事务性的支持不同
如果数据操作需要高事务性或者复杂数据查询需要控制执行计划,那么传统的SQL数据库从性能和稳定性方面考虑是最佳选择。SQL数据库支持对事务原子性细粒度控制,并且易于回滚事务。
虽然NoSQL数据库也可以使用事务操作,但稳定性方面没法和关系型数据库比较,所以它们真正闪亮的价值是在操作的扩展性和大数据量处理方面.
1.关系型:特别适合高事务性要求和需要控制执行计划的任务
2.非关系:此处会稍显弱势,其价值点在于高扩展性和大数据量处理方面
非关系型数据库产生背景
可用于应对web2.0纯动态网站类型的三高问题。
代码 | 说明 |
---|---|
1.High performance | 对数据库高并发读写需求, |
2.HugeStora | 对海量数据高效存储与访问需求 |
3. High Scalability && High Availability | 对数据库高可扩展性与高可用性需求 |
关系型数据库和非关系型数据库都有各自的特点与应用场景,两者的紧密结合将会给web2.0的数据库发展带来新的思路。让关系数据库关注在关系上,非关系型数据库关注在存储上。例如,在读写分离的MySQL数据库环境中,可以把经常访问的数据存储在非关系型数据库中,提升访问速度。
Mysql 高热数据 ----》 redis
总结
关系型数据库:
实例->数据库->表(table)->记录行(row)、数据字段(column)-》存储数据
非关系型数据库:
实例->数据库->集合(collection) --> 键值对(key-value)
workdir=/usr/local/mysql
非关系型数据库不需要手动建数据库和集合(表)。
Redis简介
Redis是一个开源的、使用c语言编写的NoSQL数据库。
Redis基于内存运行并支持持久化(支持存储在磁盘),采用key-value(键值对)的存储形式,是目前分布式架构中不可或缺的一环。
Redis服务器程序是单进程模型
Redis在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降;若在同一台服务器上开启多个Redis进程,Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。即:在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程。
若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程。若CPU资源比较紧张,采用单
进程即可.
注意:建议可以开2个进程
1、备份
2、抗高并发的同时尽量不给CPU造成太大的压力
若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程。若CPU资源比较紧张,采用单进程即可。
Redis 具有以下几个优点
优点 | 说明 |
---|---|
具有极高的数据读写速度 | 数据读取的速度最高可达到110000次/s,数据写入,速度最高可达到81000次/s。 |
支持丰富的数据类型 | 支持key-value、 Strings、 Lists、 Hashes、 Sets 及Ordered Sets等数据类型操作。 |
支持数据的持久化 | 可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用 |
原子性 | Redis所有操作都是原子性的。 |
支持数据备份 | 即master-salve 模式的数据备份。 |
redis的数据列类型
数据类型 | 说明 |
---|---|
string字符串 | 可以为整形、浮点和字符型,统称为元素 |
list列表 | 实现队列,元素不唯一,先出先出原则 |
set集合: | 各不相同的元素 |
hash hash散列值 | hash的key必须是唯一的 |
set /ordered 或 sets | 集合/有序集合 |
Redis作为基于内存运行的数据库,缓存是其最常应用的场景之一。除此之外,Redis常见应用场景还包
括获取最新N个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。
部署步骤
Redis安装部署
一、关闭防火墙
systemctl stop firewalld
systemctl enable firewalld
setenforce 0
二、环境部署
yum install -y gcc gcc-c++ make
yum repolist
重新yum
yum install -y gcc*
三、安装编译redirect软件包
tar zxvf redis-5.0.7.tar.gz
cd /opt/redis-5.0.7/
make
make install PREFIX=/usr/local/redis
由于Redis源码包中直接提供了Makefile文件,所以在解压完软件包后,不用先执行./configure进行配置,可直接执行make与make install命令进行安装
执行软件包提供的installserver.sh脚本文件设置Redis服务所需要的相关配置文件
四、执行软件包自带的install_server.sh脚本文件设置redid服务相关配置
cd utils
./install_server.sh #一直回车.
Please select the redis executable path 时输入:
/usr/local/redis/bin/redis-server
注意要一次性正确输入
Selected config | 说明 | |
---|---|---|
Port | 6379 | 默认侦听端口为6379 |
Config file | /etc/redis/6379. conf | 配置文件路径 |
Log file | /var/log/redis/6379.log | 日志文件路径 |
Data dir | /var/lib/redis/6379 | 数据文件路径 |
Executable: | /usr/local/redis/bin/redis-server | 可执行文件路径. |
Cli Executable | /usr/local/redis/bin/redis-cli | 客户端命令工具 |
五、创建软链接
把redis的可执行程序文件放入路径环境变量的目录中便于系统识别
ln -s /usr/local/redis/bin/* /usr/local/bin/
当install sserver. sh脚本运行完毕,Redis 服务就已经启动,默认侦听端口为6379
netstat- natp | grep redis
六、Redis服务控制
/etc/init.d/redis_6379 stop 停止
/etc/init.d/redis_6379 start 启动
/etc/init.d/redis_6379 restart 重启
/etc/init.d/redis_6379 status 状态
七、修改配置文件
vim /etc/redis/6379.conf
---70行修改
bind 127.0.0.1 192.168.154.60 添加监听的主机地址
---93行
port 6379 Redis默认的监听端口
---137行
daemonize yes 启用守护进程
---159行修改
pidfile /var/run/redis_6379.pid 指定PID文件
---167行修改
loglevel notice 日志级别
---172行修改
logfile /var/log/redis_6379.log 指定日志文件
/etc/init.d/redis_6379 restart
netstat -natp | grep redis
Redis命令工具
命令工具 | 说明 |
---|---|
redis-server | 于启动Redis的工具 |
redis-benchmark | 用于检测Redis在本机的运行效率 |
redi s-check-aof | 修复AOF持久化文件 |
redis-check-rdb | 修复RDB持久化文件 |
redis-cli | Redis 命令行工具. |
rdb和aof是redis服务中持久化功能的两种形式RDB AOF
redis-cli常用于登陆至redis数据库
redis-cli 命令行工具
语法: redis-cli -h host -p port -a password
命令字 | 说明 |
---|---|
-h | 指定远程主机 |
-p | 指定Redis 服务的端口号 |
-a | 指定密码,未设置数据库密码可以省略-a选项 |
若不添加任何选项表示,则使用127.0.0.1:6379 连接本机上的Redis 数据库,
redis-cli -h 192.168.154.60 -p 6379
此时没有设置密码,无需#-a
redis-benchmark测试工具
redi s-benchmark是官方自带的Redis 性能测试工具,可以有效的测试Redis 服务的性能。
基本的测试语法: redis-benchmark [选项] [选项值]
命令字 | 说明 |
---|---|
-h | 指定服务器主机名。 |
-p | 指定服务器端口。 |
-s | 指定服务器socket (套接字) |
-c | 指定并发连接数。 |
-n | 指定请求数。 |
-d | 以字节的形式指定SET/GET 值的数据大小。 |
-k | 1=keepalive 0=reconnect |
-r | SET/GET/ INCR 使用随机key, SADD使用随机值。 |
-p | 通过管道传输请求。 |
-q | 强制退出redis。 仅显示query/sec值。 |
–csv | 以csv格式输出。 |
-1 | 生成循环,永久执行测试。 |
-t | 仅运行以逗号分隔的测试命令列表。 |
-I | Idle模式。仅打开N个idle连接并等待。 |
测试
1.向IP地址为192.168.154.60,端口为6379的Redis服务器发送100个并发连接与100000
个请求测试性能
redis-benchmark -h 192.168.154.60 -p 6379 -c 100 -n 100000
2.测试存取大小为100字节的数据包的性能
redis-benchmark -h 192.168.154.60 -p 6379 -q -d 100
3.测试本机上Redis服务在进行set与lpush操作时的性能
redis-benchmark -t set,lpush -n 100000 -q
Redis数据库常用命令
set: 存放数据,命令格式为set key value
get: 获取数据,命令格式为get key
redis-cli
set fate fsn
get fate
keys命令可以取符合规则的键值列表,通常情况可以结合*、?等选项来使用。
set fate1 1
set fate2 2
set fate3 3
set fate4 4
set fate5 5
set fate10 10
set s6 6
set s7 7
set s8 8
set s1 3
set s15 6
KEYS *
KEYS f* 查看当前数据库中以f开头的数据
KEYS s? 查看当前数据库中以s开头后面包含任意一位的数据
KEYS s?? 查看当前数据库中以s开头v开头后面包含任意两位的数据
exists命令可以判断键值是否存在。
exists fate 判断fate键是否存在
(integer) 1 # 1表示fate键是存在
exists fa
(integer) 0 #0表示fa键不存在
del命令可以删除当前数据库的指定key
keys *
del fate3
get fate3
type命令可以获取key对应的value值类型
type fate
rename 命令是对已有key进行重命名 (覆盖)
命令格式: rename 源key 目标key
使用rename命令进行重命名时,无论目标key是否存在都进行重命名,且源key的值 会覆盖目标key的值。在实际使用过程中,建议先用exists命令查看目标key是否存在,然后再决定是否执行rename命令,以避免覆盖重要数据。
keys s*
rename s15 s22
keys s*
get s15
get s22
renamenx
rename n不进行修改x进行修改
nx组合: 先判断
命令的作用是对已有key进行重命名,并检测新名是否存在,如果目标key存在则不进行重命名。(不覆盖)
命令格式:
renamenx 源key 目标key
keys *
get fate
get s1
renamenx s1 fate
keys *
get fate
get v2
dbsize命令的作用是查看当前数据库中key的数目
dbsize
使用config set requirepass yourpassword 命令设置密码
config set requi repass 123456
keys *
使用config get requirepass 命令查看密码
一旦设置密码,必须先验证通过密码,否则所有操作不可用
auth 123456
config get requirepass
删除密码
auth 123456
config set requirepass ''
keys *
以上不设置,无法重启redis
Redis 多数据库常用命令(16个 0-15)
Redis支持多数据库,Redis 默认情况下包含16个数据库,数据库名称是用数字0-15来依次命名的。
多数据库相互独立,互不干扰。
多数据库间切换
命令格式: select 序号
使用redis-cli 连接Redis数据库后,默认使用的是序号为0的数据库。
select 10 #切换至序号为10的数据库
select 15 #切换至序号为15的数据库
select 0 #切换至序号为0的数据库
多数据库间移动数据
格式: move 键值 序号.
set fate1 100
get fate1
select 2
get fate1
select 0 #切换至目标数据库0
get fate1 #查看目标数据是否存在
move fate1 2 #将数据库0中fate1移动到数据库1中
select 2 #切换至目标数据库1
get fate1 #查看被移动数据
select 0
get fate1 #在数据库0中无法查看到fate1的值
清除数据库内数据(rm-rf
FLUSHDB:清空当前数据库数据
FLUSHALL :清空所有数据库的数据,慎用!
Redis高可用
在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、 99.999%等等)。
但是在Redis语境中,高可用的含义似乎要宽泛一些,除了保证提供正常服务(如主从分离、快速容灾技术),还需要考虑数据容量的扩展,数据安全不会丢失等。
在Redis中,实现高可用的技术主要包括持久化、主从复制、哨兵和集群,下面分别说明它们的作用,以及解决了什么样的问题。
一、持久化
持久化是最简单的高可用方法(有时甚至不被归为高可用的手段),主要作用是数据备份,即将数据存储在硬盘,保证数据不会因进程退出而丢失。
二、主从复制
主从复制是高可用Redis的基础,哨兵和集群(cluster)都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。
三、哨兵
在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制。
四、集群
通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案。