新闻资讯  快讯  焦点  财经  政策  社会
互 联 网   电商  金融  数据  计算  技巧
生活百科  科技  职场  健康  法律  汽车
手机百科  知识  软件  修理  测评  微信
软件技术  应用  系统  图像  视频  经验
硬件技术  知识  技术  测评  选购  维修
网络技术  硬件  软件  设置  安全  技术
程序开发  语言  移动  数据  开源  百科
安全防护  资讯  黑客  木马  病毒  移动
站长技术  搜索  SEO  推广  媒体  移动
财经百科  股票  知识  理财  财务  金融
教育考试  育儿  小学  高考  考研  留学
您当前的位置:首页 > IT百科 > 数据库 > Redis

如何发现 Redis 热点 Key

时间:2019-05-15 09:37:41  来源:  作者:
  • 一、热点Key问题产生的原因
  • 二、热点Key问题的危害
  • 三、解决方案
  • 四、热点 key 处理
  • 五、方案对比

一、热点Key问题产生的原因

1、用户消费的数据远大于生产的数据(热卖商品、热点新闻、热点评论、明星直播)。

在日常工作生活中一些突发的的事件,例如:双十一期间某些热门商品的降价促销,当这其中的某一件商品被数万次点击浏览或者购买时,会形成一个较大的需求量,这种情况下就会造成热点问题。

同理,被大量刊发、浏览的热点新闻、热点评论、明星直播等,这些典型的读多写少的场景也会产生热点问题。

2、请求分片集中,超过单 Server 的性能极限。

在服务端读数据进行访问时,往往会对数据进行分片切分,此过程中会在某一主机 Server 上对相应的 Key 进行访问,当访问超过 Server 极限时,就会导致热点 Key 问题的产生。

二、热点Key问题的危害

如何发现 <a href=http://www.solves.com.cn/it/sjk/Redis/ target=_blank class=infotextkey>redis</a> 热点 Key ,解决方案有哪些?

 

1、流量集中,达到物理网卡上限。

2、请求过多,缓存分片服务被打垮。

3、DB 击穿,引起业务雪崩。

如前文讲到的,当某一热点 Key 的请求在某一主机上超过该主机网卡上限时,由于流量的过度集中,会导致服务器中其它服务无法进行。

如果热点过于集中,热点 Key 的缓存过多,超过目前的缓存容量时,就会导致缓存分片服务被打垮现象的产生。

当缓存服务崩溃后,此时再有请求产生,会缓存到后台 DB 上,由于DB 本身性能较弱,在面临大请求时很容易发生请求穿透现象,会进一步导致雪崩现象,严重影响设备的性能。

三、解决方案

通常的解决方案主要集中在对客户端和 Server 端进行相应的改造。

1、服务端缓存方案

如何发现 Redis 热点 Key ,解决方案有哪些?

 

首先 Client 会将请求发送至 Server 上,而 Server 又是一个多线程的服务,本地就具有一个基于 Cache LRU 策略的缓存空间。

当 Server 本身就拥堵时,Server 不会将请求进一步发送给 DB 而是直接返回,只有当 Server 本身畅通时才会将 Client 请求发送至 DB,并且将该数据重新写入到缓存中。

此时就完成了缓存的访问跟重建。

但该方案也存在以下问题:

  • 缓存失效,多线程构建缓存问题
  • 缓存丢失,缓存构建问题
  • 脏读问题

2、使用 Memcache、Redis 方案

如何发现 Redis 热点 Key ,解决方案有哪些?

 

img

该方案通过在客户端单独部署缓存的方式来解决热点 Key 问题。

使用过程中 Client 首先访问服务层,再对同一主机上的缓存层进行访问。

该种解决方案具有就近访问、速度快、没有带宽限制的优点,但是同时也存在以下问题:

  • 内存资源浪费
  • 脏读问题

3、使用本地缓存方案

使用本地缓存则存在以下问题:

  • 需要提前获知热点
  • 缓存容量有限
  • 不一致性时间增长
  • 热点 Key 遗漏

传统的热点解决方案都存在各种各样的问题,那么究竟该如何解决热点问题呢?

4、读写分离方案解决热读

如何发现 Redis 热点 Key ,解决方案有哪些?

 

img

架构中各节点的作用如下:

  • SLB 层做负载均衡
  • Proxy 层做读写分离自动路由
  • Master 负责写请求
  • ReadOnly 节点负责读请求
  • Slave 节点和 Master 节点做高可用

实际过程中 Client 将请求传到 SLB,SLB 又将其分发至多个 Proxy 内,通过 Proxy 对请求的识别,将其进行分类发送。

例如,将同为 Write 的请求发送到 Master 模块内,而将 Read 的请求发送至 ReadOnly 模块。

而模块中的只读节点可以进一步扩充,从而有效解决热点读的问题。

读写分离同时具有可以灵活扩容读热点能力、可以存储大量热点Key、对客户端友好等优点。

5、热点数据解决方案

如何发现 Redis 热点 Key ,解决方案有哪些?

 

 

该方案通过主动发现热点并对其进行存储来解决热点 Key 的问题。

首先 Client 也会访问 SLB,并且通过 SLB 将各种请求分发至 Proxy 中,Proxy 会按照基于路由的方式将请求转发至后端的 Redis 中。

在热点 key 的解决上是采用在服务端增加缓存的方式进行。

具体来说就是在 Proxy 上增加本地缓存,本地缓存采用 LRU 算法来缓存热点数据,后端 db 节点增加热点数据计算模块来返回热点数据。

  • Proxy 架构的主要有以下优点:
  • Proxy 本地缓存热点,读能力可水平扩展
  • DB 节点定时计算热点数据集合
  • DB 反馈 Proxy 热点数据
  • 对客户端完全透明,不需做任何兼容

四、热点 key 处理

1、热点数据的读取

如何发现 Redis 热点 Key ,解决方案有哪些?

 

在热点 Key 的处理上主要分为写入跟读取两种形式,在数据写入过程当 SLB 收到数据 K1 并将其通过某一个 Proxy 写入一个 Redis,完成数据的写入。

假若经过后端热点模块计算发现 K1 成为热点 key 后, Proxy 会将该热点进行缓存,当下次客户端再进行访问 K1 时,可以不经 Redis。

最后由于 proxy 是可以水平扩充的,因此可以任意增强热点数据的访问能力。

2、热点数据的发现

如何发现 Redis 热点 Key ,解决方案有哪些?

 

对于 db 上热点数据的发现,首先会在一个周期内对 Key 进行请求统计,在达到请求量级后会对热点 Key 进行热点定位,并将所有的热点 Key 放入一个小的 LRU 链表内,在通过 Proxy 请求进行访问时,若 Redis 发现待访点是一个热点,就会进入一个反馈阶段,同时对该数据进行标记。

DB 计算热点时,主要运用的方法和优势有:

1、基于统计阀值的热点统计

2、基于统计周期的热点统计

3、基于版本号实现的无需重置初值统计方法

4、DB 计算同时具有对性能影响极其微小、内存占用极其微小等优点

五、方案对比

通过上述对比分析可以看出,在解决热点 Key 上较传统方法相比都有较大的提高,无论是基于读写分离方案还是热点数据解决方案,在实际处理环境中都可以做灵活的水平能力扩充、都对客户端透明、都有一定的数据不一致性。

此外读写分离模式可以存储更大量的热点数据,而基于 Proxy 的模式有成本上的优势。

来源:http://t.cn/EogMSP2
 



Tags:Redis   点击:()  评论:()
声明:本站部分内容来自互联网,内容观点仅代表作者本人,如有任何版权侵犯请与我们联系,我们将立即删除。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
redis集群简述哨兵模式中如果主从中 master宕机了,是通过哨兵来选举出新的master,在这个选举切换主从的过程,整个redis服务是不可用的。而且哨兵模式中只有一个主节点对外提供...【详细内容】
2020-03-18   Redis  点击:(1)  评论:(0)  加入收藏
《深入理解Java虚拟机》但要想真的深入理解虚拟机一问肯定远远不够的,但是本文中分三部分对JVM有深入的解析。第1章 走近Java第2章 Java内存区域与内存溢出异常第3章 垃圾收...【详细内容】
2020-03-16   Redis  点击:(6)  评论:(0)  加入收藏
大家都知道程序员涨薪主要还是要靠跳槽来完成!但是我们都知道,无论是考试,还是求职,这个难度,参加人数是影响难度的一个很大因数(当然特别牛逼的大佬可以忽略这句话)。每年高考、考...【详细内容】
2020-03-16   Redis  点击:(3)  评论:(0)  加入收藏
前言随着系统的运行,数据量变得越来越大,单纯的将数据存储在mysql中,已然不能满足查询要求了,此时我们引入Redis作为查询的缓存层,将业务中的热数据保存到Redis,扩展传统关系型数...【详细内容】
2020-03-16   Redis  点击:(8)  评论:(0)  加入收藏
作为一个内存数据库,redis也总是免不了有各种各样的问题,这篇文章主要是针对其中两个问题进行讲解:缓存穿透和缓存雪崩。并给出一些解决方案。这两个问题是基本问题也是面试常...【详细内容】
2020-03-14   Redis  点击:(3)  评论:(0)  加入收藏
Redis占用内存大小我们知道Redis是基于内存的key-value数据库,因为系统的内存大小有限,所以我们在使用Redis的时候可以配置Redis能使用的最大的内存大小。1、通过配置文件配置...【详细内容】
2020-03-14   Redis  点击:(4)  评论:(0)  加入收藏
01 大数据时代的新挑战:实时流计算社会需求和科技进步是螺旋式相互促进和提升的。“大数据”一词最早由Roger Mougalas在2005年提出,所以我们姑且认为2005年是大数据时代的元...【详细内容】
2020-03-14   Redis  点击:(6)  评论:(0)  加入收藏
性能测试报告查看了下阿里云 Redis 的性能测试报告如下,能够达到数十万、百万级别的 QPS(暂时忽略阿里对 Redis 所做的优化),我们从 Redis 的设计和实现来分析一下 Redis 是怎么...【详细内容】
2020-03-11   Redis  点击:(2)  评论:(0)  加入收藏
大家有没有想过如何统计活跃用户数量?如果是自己做,那该怎么做?这里思考一分钟,后面我将分享一下如何使用 redis 中的位图来统计活跃用户数。正文什么是位图 ?位图(bitmap)是二进...【详细内容】
2020-03-10   Redis  点击:(5)  评论:(0)  加入收藏
一、redis安装后,在src和/usr/local/bin下有几个以redis开头的可执行文件,称为redis shell,这些可执行文件可做很多事情。1、redis-server 启动redis2、redis-cli redis 命令行...【详细内容】
2020-03-10   Redis  点击:(10)  评论:(0)  加入收藏
Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 一、redis-dump迁移redis-dump需要r...【详细内容】
2020-03-09   Redis  点击:(4)  评论:(0)  加入收藏
有没有人和我一样, 自打知道了redis, 就一直听说什么redis单线程, 使用了多路复用等等. 天真的我以为多路复用是redis实现的技术. 今天才发现, 我被自己骗了, 多路复用是系...【详细内容】
2020-03-08   Redis  点击:(4)  评论:(0)  加入收藏
最近在精进学习Redis,边学边写一、List类型使用说明 list类型是用来存储多个有序的字符串的,支持存储2^32次方-1个元素。 redis可以从链表的两端进行插入(pubsh)和弹出(pop)元素,...【详细内容】
2020-03-08   Redis  点击:(16)  评论:(0)  加入收藏
Java中的Live对象是什么?Java是一种面向对象的编程语言,这意味着在Java中几乎没有比对象更重要的概念了。Java中的对象的强大功能分布式对象,使您能够跨多个进程或计算机构建分...【详细内容】
2020-03-07   Redis  点击:(10)  评论:(0)  加入收藏
基本数据结构简单动态字符串Redis中的字符串使用“简单动态字符串”(SDS)表示,无论是字符串值还是键底层都采用“简单动态字符串”。 free:未使用空间大小; len:字符串长度; buf...【详细内容】
2020-03-07   Redis  点击:(9)  评论:(0)  加入收藏
什么是RedisRedis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API的非关系型数据库。...【详细内容】
2020-03-06   Redis  点击:(5)  评论:(0)  加入收藏
RDB(默认)RDB是通过快照方式完成的,当满足一定条件时,redis会自动将内存中的数据持久化到磁盘。触发快照的时机 符合自定义配置的快照规则。(在redis.conf中配置,下面会详细介...【详细内容】
2020-03-05   Redis  点击:(0)  评论:(0)  加入收藏
RDB(默认)RDB是通过快照方式完成的,当满足一定条件时,redis会自动将内存中的数据持久化到磁盘。触发快照的时机 符合自定义配置的快照规则。(在redis.conf中配置,下面会详细介...【详细内容】
2020-03-05   Redis  点击:(11)  评论:(0)  加入收藏
简单来说 Redis 就是一个数据库,不过与传统数据库不同的是 Redis 的数据是存在内存中的,所以存写速度非常快,因此 Redis 被广泛应用于缓存方向。 另外,Redis 也经常用来做分...【详细内容】
2020-03-03   Redis  点击:(9)  评论:(0)  加入收藏
大家都知道Redis一个内存数据库,它支持2种持久化方式: RDB(Snapshot 内存快照) , AOF(append only file) 。持久化功能将内存中的数据同步到磁盘来避免Redis发生异常导致数据...【详细内容】
2020-03-03   Redis  点击:(9)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条