专栏名称: 石杉的架构笔记
专注原创、用心雕琢!十余年BAT一线大厂架构经验倾囊相授
目录
相关文章推荐
新闻夜航  ·  价格大跳水,还要继续降 ·  昨天  
哈尔滨日报  ·  幼儿园将免费?最新回应 ·  3 天前  
哈尔滨日报  ·  黑龙江省这些单位招聘工作人员 ·  3 天前  
51好读  ›  专栏  ›  石杉的架构笔记

大白话聊聊分布式系统中如何使用一致性哈希算法?

石杉的架构笔记  · 公众号  ·  · 2019-05-05 08:30

正文

公众号后台回复“ 资料

获取作者独家秘制学习资料


本文将会从实际应用场景出发,介绍 一致性哈希算法 (Consistent Hashing)及其在分布式系统中的应用。


首先本文会描述一个在日常开发中经常会遇到的问题场景,借此介绍一致性哈希算法以及这个算法如何解决此问题。


接下来会对这个算法进行相对详细的描述,并讨论一些如虚拟节点等与此算法应用相关的话题。


分布式缓存

假设我们有一个网站,最近发现随着流量增加,服务器压力越来越大,之前直接读写数据库的方式不太给力了,于是我们想引入Memcached作为缓存机制。

现在我们一共有三台机器可以作为Memcached服务器, 如下图所示:

很显然,最简单的策略是将每一次Memcached请求随机发送到一台Memcached服务器,但是这种策略可能会带来两个如下问题:


  1. 同一份数据可能被存在不同的机器上而造成数据冗余;

  2. 有可能某数据已经被缓存但是访问却没有命中,因为无法保证对相同key的所有访问都被发送到相同的服务器。


因此,随机策略无论是时间效率还是空间效率都非常不好。

要解决上述问题只需做到如下一点:保证对相同key的访问会被发送到相同的服务器。


很多方法可以实现这一点,最常用的方法是 计算哈希 。假设对于上图,对于每次访问,可以按如下算法计算其哈希值: h = Hash(key) % 3

其中Hash是一个从字符串到正整数的哈希映射函数。这样,如果我们将Memcached Server分别编号为0、1、2,那么就可以根据上式和key计算出服务器编号h,然后去访问。

这个方法 虽然解决了上面提到的两个问题,但是 存在一些其它的问题, 如果将上述方法抽象,可以认为通过: h = Hash(key) % N

这个算式计算每个key的请求应该被发送到哪台服务器,其中N为服务器的台数,并且服务器按照0 – (N-1)编号。

这个算法的问题在于 容错性和扩展性不好

所谓容错性是指当系统中某一个或几个服务器变得不可用时,整个系统是否可以正确高效运行;而扩展性是指当加入新的服务器后,整个系统是否可以正确高效运行。

现假设有一台服务器宕机了 ,那么为了填补空缺,要将宕机的服务器从编号列表中移除,后面的服务器按顺序前移一位并将其编号值减一,此时每个key就要按h = Hash(key) % (N-1)重新计算。

同样,如果新增了一台服务器 ,虽然原有服务器编号不用改变,但是要按h = Hash(key) % (N+1)重新计算哈希值。

因此系统中一旦有服务器变更,大量的key会被重定位到不同的服务器从而造成大量的缓存不命中。而这种情况在分布式系统中是非常糟糕的。

一个设计良好的分布式哈希方案应该具有 良好的单调性 ,即服务节点的增减不会造成大量哈希重定位。一致性哈希算法就是这样一种哈希方案。


一致性哈希算法

简单来说,一致性哈希将整个哈希值空间组织成一个虚拟的圆环,如假设某哈希函数H的值空间为0 - 232-1(即哈希值是一个32位无符号整形)。

整个哈希空间环如下:

整个空间按顺时针方向组织。 0和232-1在零点中方向重合

下一步 将各个服务器使用H进行一个哈希,具体可以选择服务器的ip或主机名作为关键字进行哈希 ,这样每台机器就能确定其在哈希环上的位置

这里假设将上文中三台服务器使用ip地址哈希后在环空间的位置如下:


接下来使用如下算法定位数据访问到相应服务器: 将数据key使用相同的函数H计算出哈希值h,通根据h确定此数据在环上的位置,从此位置沿环顺时针“行走”, 第一台遇到的服务器就是其应该定位到的服务器。

例如我们有A、B、C、D四个数据对象,经过哈希计算后,在环空间上的位置如下:

根据一致性哈希算法,数据A会被定为到Server 1上,D被定为到Server 3上,而B、C分别被定为到Server 2上。


容错性和扩展性分析

下面分析一致性哈希算法的容错性和可扩展性。现 假设Server 3宕 机了:


可以看到此时A、C、B不会受到影响, 只有D节点被重定位到Server 2

一般的,在一致性哈希算法中,如果一台服务器不可用,则受影响的数据仅仅是此服务器到其环空间中前一台服务器(即顺着逆时针方向行走遇到的第一台服务器)之间数据,其它不会受到影响。

下面考虑另外一种情况,如果我们 在系统中增加一台服务器Memcached Server 4:


此时A、D、C不受影响, 只有B需要重定位到新的Server 4

一般的,在一致性哈希算法中,如果增加一台服务器,则受影响的数据仅仅是新服务器到其环空间中前一台服务器(即顺着逆时针方向行走遇到的第一台服务器)之间数据,其它不会受到影响。

综上所述,一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据,具有较好的容错性和可扩展性。


虚拟节点

一致性哈希算法在服务节点太少时,容易因为节点分部不均匀而造成 数据倾斜问题


例如我们的系统中有两台服务器,其环分布如下:


此时必然造成大量数据集中到Server 1上,而只有极少量会定位到Server 2上。

为了解决这种数据倾斜问题,一致性哈希算法 引入了 虚拟节点机制 ,即对每一个服务节点计算多个哈希,每个计算结果位置都放置一个此服务节点,称为虚拟节点。

具体做法







请到「今天看啥」查看全文