新闻资讯  快讯  焦点  财经  政策  社会
互 联 网   电商  金融  数据  计算  技巧
生活百科  科技  职场  健康  法律  汽车
手机百科  知识  软件  修理  测评  微信
软件技术  应用  系统  图像  视频  经验
硬件技术  知识  技术  测评  选购  维修
网络技术  硬件  软件  设置  安全  技术
程序开发  语言  移动  数据  开源  百科
安全防护  资讯  黑客  木马  病毒  移动
站长技术  搜索  SEO  推广  媒体  移动
财经百科  股票  知识  理财  财务  金融
教育考试  育儿  小学  高考  考研  留学
您当前的位置:首页 > IT百科 > 数据库 > Redis

一文深度揭开Redis的磁盘持久化机制

时间:2019-12-02 13:10:28  来源:  作者:

redis内存数据库,数据都是存储在内存中,为了避免进程退出导致数据的永久丢失,需要定期将 Redis 中的数据以数据或命令的形式从内存保存到本地磁盘。当下次 Redis 重启时,利用持久化文件进行数据恢复。Redis 提供了 RDB 和 AOF 两种持久化机制,前者将当前的数据保存到磁盘,后者则是将每次执行的写命令保存到磁盘(类似于 MySQL 的 Binlog)。本文将详细介绍 RDB 和 AOF 两种持久化方案,包括操作方法和持久化的实现原理。

正文

Redis 是一个基于 K-V 存储的数据库服务器,下面先介绍 Redis 数据库的内部构造以及 K-V 的存储形式,有助于我们更容易理解 Redis 的持久化机制。

一文深度揭开Redis的磁盘持久化机制

 

1. Redis数据库结构

一个单机的 Redis 服务器默认情况下有 16 个数据库(0-15号),默认使用的是 0 号数据库,可以使用 SELECT 命令切换数据库。

一文深度揭开Redis的磁盘持久化机制

 

Redis 中的每个数据库都由一个 redis.h/redisDb 结构表示,它记录了单个 Redis 数据库的键空间、所有键的过期时间、处于阻塞状态和就绪状态的键、数据库编号等等。

typedef struct redisDb {
 // 数据库键空间,保存着数据库中的所有键值对
 dict *dict;
 // 键的过期时间,字典的键为键,字典的值为过期事件 UNIX 时间戳
 dict *expires;
 // 正处于阻塞状态的键
 dict *blocking_keys;
 // 可以解除阻塞的键
 dict *ready_keys;
 // 正在被 WATCH 命令监视的键
 dict *watched_keys;
 struct evictionPoolEntry *eviction_pool;
 // 数据库编号
 int id;
 // 数据库的键的平均 TTL,统计信息
 long long avg_ttl;
} redisDb;
复制代码

由于 Redis 是一个键值对数据库(key-value pairs database), 所以它的数据库本身也是一个字典,对应的结构正是 redisDb。其中,dict 指向的是一个记录键值对数据的字典,它的键是一个字符串对象,它的值则可以是字符串、列表、哈希表、集合和有序集合在内的任意一种 Redis 类型对象。 expires 指向的是一个用于记录键的过期时间的字典,它的键为 dict 中的数据库键,它的值为这个数据库键的过期时间戳,这个值以 long long 类型表示。

一文深度揭开Redis的磁盘持久化机制

 

2. RDB持久化

RDB 持久化(也称作快照持久化)是指将内存中的数据生成快照保存到磁盘里面,保存的文件后缀是 .rdb。rdb 文件是一个经过压缩的二进制文件,当 Redis 重新启动时,可以读取 rdb 快照文件恢复数据。RDB 功能最核心的是 rdbSave 和 rdbLoad 两个函数, 前者用于生成 RDB 文件并保存到磁盘,而后者则用于将 RDB 文件中的数据重新载入到内存中:

一文深度揭开Redis的磁盘持久化机制

 

RDB 文件是一个单文件的全量数据,很适合数据的容灾备份与恢复,通过 RDB 文件恢复数据库耗时较短,通常 1G 的快照文件载入内存只需 20s 左右。Redis 提供了手动触发保存、自动保存间隔两种 RDB 文件的生成方式,下面先介绍 RDB 的创建和载入过程。

 

2.1. RDB的创建和载入

2.1.1. 手动触发保存

Redis 提供了两个用于生成 RDB 文件的命令,一个是 SAVE,另一个是 BGSAVE。而触发 Redis 进行 RDB 备份的方式有两种,一种是通过 SAVE 命令、BGSAVE 命令手动触发快照生成的方式,另一种是配置保存时间和写入次数,由 Redis 根据条件自动触发保存操作。

1. SAVE命令

SAVE 是一个同步式的命令,它会阻塞 Redis 服务器进程,直到 RDB 文件创建完成为止。在服务器进程阻塞期间,服务器不能处理任何其他命令请求。

  • 客户端命令
127.0.0.1:6379> SAVE
OK
复制代码
  • 服务端日志
6266:M 15 Sep 2019 08:31:01.258 * DB saved on disk
复制代码

执行 SAVE 命令后,Redis 在服务端进程(PID为6266)执行了 SAVE 操作,这个操作发生期间会一直阻塞 Redis 客户端的请求处理。

 

2. BGSAVE命令

BGSAVE 是一个异步式的命令,和 SAVE 命令直接阻塞服务器进程的做法不同,BGSAVE 命令会派生出一个子进程,由子进程负责创建 RDB 文件,服务器进程(父进程)继续处理客户的命令。

  • 客户端命令
127.0.0.1:6379> BGSAVE
Background saving started
复制代码
  • 服务端日志
6266:M 15 Sep 2019 08:31:22.914 * Background saving started by pid 6283
6283:C 15 Sep 2019 08:31:22.915 * DB saved on disk
6266:M 15 Sep 2019 08:31:22.934 * Background saving terminated with success
复制代码

通过服务端输出的日志,可以发现Redis 在服务端进程(PID为6266)会为 BGSAVE 命令单独创建(fork)一个子进程(PID为6283),并由子进程在后台完成 RDB 的保存过程,在操作完成之后通知父进程然后退出。在整个过程中,服务器进程只会消耗少量时间在创建子进程和处理子进程信号量上面,其余时间都是待命状态。

BGSAVE 是触发 RDB 持久化的主流方式,下面给出 BGSAVE 命令生成快照的流程:

一文深度揭开Redis的磁盘持久化机制

 

  1. 客户端发起 BGSAVE 命令,Redis 主进程判断当前是否存在正在执行备份的子进程,如果存在则直接返回
  2. 父进程 fork 一个子进程 (fork 的过程中会造成阻塞的情况),这个过程可以使用 info stats 命令查看 latest_fork_usec 选项,查看最近一次 fork 操作消耗的时间,单位是微秒
  3. 父进程 fork 完成之后,则会返回 Background saving started 的信息提示,此时 fork 阻塞解除
  4. fork 创建的子进程开始根据父进程的内存数据生成临时的快照文件,然后替换原文件
  5. 子进程备份完毕后向父进程发送完成信息,父进程更新统计信息

3. SAVE和BGSAVE的比较

命令SAVEBGSAVEIO类型同步异步是否阻塞全程阻塞fork时发生阻塞复杂度O(n)O(n)优点不会消耗额外的内存不阻塞客户端缺点阻塞客户端fork子进程消耗内存

2.1.2. 自动触发保存

因为 BGSAVE 命令可以在不阻塞服务器进程的情况下执行,所以 Redis 的配置文件 redis.conf 提供了一个 save 选项,让服务器每隔一段时间自动执行一次 BGSAVE 命令。用户可以通过 save 选项设置多个保存条件,只要其中任意一个条件被满足,服务器就会执行 BGSAVE 命令。 Redis 配置文件 redis.conf 默认配置了以下 3 个保存条件:

save 900 1
save 300 10 
save 60 10000
复制代码

那么只要满足以下 3 个条件中的任意一个,BGSAVE 命令就会被自动执行:

  • 服务器在 900 秒之内,对数据库进行了至少 1 次修改。
  • 服务器在 300 秒之内,对数据库进行了至少 10 次修改。
  • 服务器在 60 秒之内,对数据库进行了至少 10000 次修改。

Redis 服务器会周期性地操作 serverCron 函数,这个函数每隔 100 毫秒就会执行一次,它的一项任务就是检查 save 选项所设置的保存条件是否满足,如果满足的话,就自动执行 BGSAVE 命令。

2.1.3. 启动自动载入

和使用 SAVE 和 BGSAVE 命令创建 RDB 文件不同,Redis 没有专门提供用于载入 RDB 文件的命令,RDB 文件的载入过程是在 Redis 服务器启动时自动完成的。启动时只要在指定目录检测到 RDB 文件的存在,Redis 就会通过 rdbLoad 函数自动载入 RDB 文件。

下面是 Redis 服务器启动时打印的日志,倒数第 2 条日志是在成功载入 RDB 文件后打印的。

$ redis-server /usr/local/etc/redis.conf
6266:C 15 Sep 2019 08:30:41.830 # Redis version=5.0.5, bits=64, commit=00000000, modified=0, pid=6266, just started
6266:C 15 Sep 2019 08:30:41.830 # Configuration loaded
6266:M 15 Sep 2019 08:30:41.831 * Increased maximum number of open files to 10032 (it was originally set to 256).
6266:M 15 Sep 2019 08:30:41.832 # Server initialized
6266:M 15 Sep 2019 08:30:41.833 * DB loaded from disk: 0.001 seconds
6266:M 15 Sep 2019 08:30:41.833 * Ready to accept connections
复制代码

由于 AOF 文件属于增量的写入命令备份,RDB 文件属于全量的数据备份,所以更新频率比 RDB 文件的更新频率高。所以如果 Redis 服务器开启了 AOF 持久化功能,那么服务器会优先使用 AOF 文件来还原数据库状态;只有在 AOF 的持久化功能处于关闭状态时,服务器才会使用优先使用 RDB 文件还原数据库状态。

一文深度揭开Redis的磁盘持久化机制

 

2.2. RDB的文件结构

RDB 文件是经过压缩的二进制文件,下面介绍关于RDB文件的一些细节。

2.2.1. 存储路径

SAVE 命令和 BGSAVE 命令都只会备份当前数据库,备份文件名默认为 dump.rdb,可通过配置文件修改备份文件名 dbfilename xxx.rdb。可以通过以下命令查看备份文件目录和 RDB 文件名称:

$ redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> CONFIG GET dir
1) "dir"
2) "/usr/local/var/db/redis"
127.0.0.1:6379> CONFIG GET dbfilename
1) "dbfilename"
2) "dump.rdb"
复制代码

RDB 文件的存储路径既可以在启动前配置,也可以通过命令动态设定。

  • 配置项:通过 dir 配置指定目录,dbfilename 指定文件名
  • 动态指定:Redis 启动后也可以动态修改 RDB 存储路径,在磁盘损害或空间不足时非常有用,执行命令为:
config set dir {newdir}
config set dbfilename {newFileName}
复制代码


Tags:Redis   点击:()  评论:()
声明:本站部分内容来自互联网,内容观点仅代表作者本人,如有任何版权侵犯请与我们联系,我们将立即删除。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
redis集群简述哨兵模式中如果主从中 master宕机了,是通过哨兵来选举出新的master,在这个选举切换主从的过程,整个redis服务是不可用的。而且哨兵模式中只有一个主节点对外提供...【详细内容】
2020-03-18   Redis  点击:(1)  评论:(0)  加入收藏
《深入理解Java虚拟机》但要想真的深入理解虚拟机一问肯定远远不够的,但是本文中分三部分对JVM有深入的解析。第1章 走近Java第2章 Java内存区域与内存溢出异常第3章 垃圾收...【详细内容】
2020-03-16   Redis  点击:(6)  评论:(0)  加入收藏
大家都知道程序员涨薪主要还是要靠跳槽来完成!但是我们都知道,无论是考试,还是求职,这个难度,参加人数是影响难度的一个很大因数(当然特别牛逼的大佬可以忽略这句话)。每年高考、考...【详细内容】
2020-03-16   Redis  点击:(3)  评论:(0)  加入收藏
前言随着系统的运行,数据量变得越来越大,单纯的将数据存储在mysql中,已然不能满足查询要求了,此时我们引入Redis作为查询的缓存层,将业务中的热数据保存到Redis,扩展传统关系型数...【详细内容】
2020-03-16   Redis  点击:(8)  评论:(0)  加入收藏
作为一个内存数据库,redis也总是免不了有各种各样的问题,这篇文章主要是针对其中两个问题进行讲解:缓存穿透和缓存雪崩。并给出一些解决方案。这两个问题是基本问题也是面试常...【详细内容】
2020-03-14   Redis  点击:(3)  评论:(0)  加入收藏
Redis占用内存大小我们知道Redis是基于内存的key-value数据库,因为系统的内存大小有限,所以我们在使用Redis的时候可以配置Redis能使用的最大的内存大小。1、通过配置文件配置...【详细内容】
2020-03-14   Redis  点击:(4)  评论:(0)  加入收藏
01 大数据时代的新挑战:实时流计算社会需求和科技进步是螺旋式相互促进和提升的。“大数据”一词最早由Roger Mougalas在2005年提出,所以我们姑且认为2005年是大数据时代的元...【详细内容】
2020-03-14   Redis  点击:(6)  评论:(0)  加入收藏
性能测试报告查看了下阿里云 Redis 的性能测试报告如下,能够达到数十万、百万级别的 QPS(暂时忽略阿里对 Redis 所做的优化),我们从 Redis 的设计和实现来分析一下 Redis 是怎么...【详细内容】
2020-03-11   Redis  点击:(2)  评论:(0)  加入收藏
大家有没有想过如何统计活跃用户数量?如果是自己做,那该怎么做?这里思考一分钟,后面我将分享一下如何使用 redis 中的位图来统计活跃用户数。正文什么是位图 ?位图(bitmap)是二进...【详细内容】
2020-03-10   Redis  点击:(5)  评论:(0)  加入收藏
一、redis安装后,在src和/usr/local/bin下有几个以redis开头的可执行文件,称为redis shell,这些可执行文件可做很多事情。1、redis-server 启动redis2、redis-cli redis 命令行...【详细内容】
2020-03-10   Redis  点击:(10)  评论:(0)  加入收藏
Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 一、redis-dump迁移redis-dump需要r...【详细内容】
2020-03-09   Redis  点击:(4)  评论:(0)  加入收藏
有没有人和我一样, 自打知道了redis, 就一直听说什么redis单线程, 使用了多路复用等等. 天真的我以为多路复用是redis实现的技术. 今天才发现, 我被自己骗了, 多路复用是系...【详细内容】
2020-03-08   Redis  点击:(4)  评论:(0)  加入收藏
最近在精进学习Redis,边学边写一、List类型使用说明 list类型是用来存储多个有序的字符串的,支持存储2^32次方-1个元素。 redis可以从链表的两端进行插入(pubsh)和弹出(pop)元素,...【详细内容】
2020-03-08   Redis  点击:(16)  评论:(0)  加入收藏
Java中的Live对象是什么?Java是一种面向对象的编程语言,这意味着在Java中几乎没有比对象更重要的概念了。Java中的对象的强大功能分布式对象,使您能够跨多个进程或计算机构建分...【详细内容】
2020-03-07   Redis  点击:(10)  评论:(0)  加入收藏
基本数据结构简单动态字符串Redis中的字符串使用“简单动态字符串”(SDS)表示,无论是字符串值还是键底层都采用“简单动态字符串”。 free:未使用空间大小; len:字符串长度; buf...【详细内容】
2020-03-07   Redis  点击:(9)  评论:(0)  加入收藏
什么是RedisRedis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API的非关系型数据库。...【详细内容】
2020-03-06   Redis  点击:(5)  评论:(0)  加入收藏
RDB(默认)RDB是通过快照方式完成的,当满足一定条件时,redis会自动将内存中的数据持久化到磁盘。触发快照的时机 符合自定义配置的快照规则。(在redis.conf中配置,下面会详细介...【详细内容】
2020-03-05   Redis  点击:(0)  评论:(0)  加入收藏
RDB(默认)RDB是通过快照方式完成的,当满足一定条件时,redis会自动将内存中的数据持久化到磁盘。触发快照的时机 符合自定义配置的快照规则。(在redis.conf中配置,下面会详细介...【详细内容】
2020-03-05   Redis  点击:(11)  评论:(0)  加入收藏
简单来说 Redis 就是一个数据库,不过与传统数据库不同的是 Redis 的数据是存在内存中的,所以存写速度非常快,因此 Redis 被广泛应用于缓存方向。 另外,Redis 也经常用来做分...【详细内容】
2020-03-03   Redis  点击:(9)  评论:(0)  加入收藏
大家都知道Redis一个内存数据库,它支持2种持久化方式: RDB(Snapshot 内存快照) , AOF(append only file) 。持久化功能将内存中的数据同步到磁盘来避免Redis发生异常导致数据...【详细内容】
2020-03-03   Redis  点击:(9)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条