专栏名称: 狗厂
目录
相关文章推荐
51好读  ›  专栏  ›  狗厂

图解分布式架构的演进!

狗厂  · 掘金  ·  · 2018-05-03 02:29

正文

Java技术栈

不可错过的 Java 技术公众号

>>> 5.1重磅活动 | 区块链免费送书 & 星球特价

一、什么是分布式架构

分布式系统(distributed system) 是建立在网络之上的软件系统。

内聚性:是指每一个数据库分布节点高度自治,有本地的数据库管理系统。

透明性:是指每一个数据库分布节点对用户的应用来说都是透明的,看不出是本地还是远程。

在分布式数据系统中,用户感觉不数据是分布的,即用户不须知道关系是否分割,有无副本,数据存在于那个站点以及事物在哪个站点上执行。

简单来说:在一个分布式系统中,一组独立的计算机展现给用户的是一个统一的整体,就好像是一个系统似的。

分布式系统作为一个整体对用户提供服务,而整个系统的内部的协作对用户来说是透明的,用户就像是指使用一个mysql 一样。

如:分布式mysql中间件 mycat ,来处理大并发大数据量的构架。

二、分布式架构的应用

1. 分布式文件系统

例如:出名的有 Hadoop 的 HDFS, 还有 google的 GFS , 淘宝的 TFS 等

2. 分布式缓存系统

例如:memcache , hbase, mongdb 等

3. 分布式数据库

例如:mysql, mariadb, postgreSql 等

4. 分布式webService

5. 分布式计算

举例

以分布式mysql 数据库中间件mycat 为例

MySQL 在现在电商以及互联网公司的应用非常多,一个是因为他的免费开源,另外一个原因是因为分布式系统的水平可扩展性,随着移动互联网用户的暴增,互联网公司,像淘宝,天猫,唯品会等电商都采用分布式系统应对用户的高并发量以及大数据量的存储。而在Mycat的商业案例中,有对中国移动的账单结算项目中,应用实时处理高峰期每天2亿的数据量,在对物联网的项目中,实现处理高达26亿的数据量,并提供实时查询的接口。

通过对MyCat的学习,加深分布式系统架构的理解,以及分布式相关的技术,分布式一致性ZooKeeper服务, 高可用HAProxy/keepalived等相关应用。

1> 集群 与 分布式

2> 负载均衡

3> 分布式相关的高可用、容灾等名词解释

4> Mycat 中间件学习

三、资源推荐

  1. 大型分布式网站架构设计与实践:http://item.jd.com/11529266.html

  2. 大型网站技术架构:核心原理与案例分析:http://item.jd.com/11322972.html

  3. 大型网站系统与Java中间件实践:http://item.jd.com/11449803.html

  4. 分布式Java应用:基础与实践:http://item.jd.com/10144196.html

四、分布式架构的演进

(1) 初始阶段架构

特征:应用程序,数据库,文件等所有资源都放在一台服务器上。

(2)应用服务 和 数据服务 以及 文件服务 分离

说明:好景不长,发现随着系统访问量的再度增加,webserver机器的压力在高峰期会上升到比较高,这个时候开始考虑增加一台webserver。

特征:应用程序、数据库、文件分别部署在独立的资源上。

(3)使用缓存改善性能

说明:系统访问特点遵循二八定律,即80%的业务访问集中在20%的数据上。

缓存分为 本地缓存 和 远程分布式缓存,本地缓存访问速度更快但缓存数据量有限,同时存在与应用程序争用内存的情况。

特征:数据库中访问较集中的一小部分数据存储在缓存服务器中,减少数据库的访问次数,降低数据库的访问压力。

(4)使用“ 应用服务器 ”集群

说明:在做完分库分表这些工作后,数据库上的压力已经降到比较低了,又开始过着每天看着访问量暴增的幸福生活了。

突然有一天,发现系统的访问又开始有变慢的趋势了,这个时候首先查看数据库,压力一切正常,之后查看webserver,发现apache阻塞了很多的请求,而应用服务器对每个请求也是比较快的,看来是请求数太高导致需要排队等待,响应速度变慢。

特征:多台服务器通过负载均衡同时向外部提供服务,解决单台服务器处理能力和存储空间上限的问题。

描述:使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源,提升系统的并发处理能力,使得服务器的负载压力不再成为整个系统的瓶颈。

(5)数据库读写分离

说明:享受了一段时间的系统访问量高速增长的幸福后,发现系统又开始变慢了,这次又是什么状况呢,经过查找,发现数据库写入、更新的这些操作的部分数据库连接的资源竞争非常激烈,导致了系统变慢。

特征:多台服务器通过负载均衡同时向外部提供服务,解决单台服务器处理能力和存储空间上限的问题。

描述:使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源,使得服务器的负载压力不在成为整个系统的瓶颈。

(6)反向代理和CDN加速

特征:采用CDN和反向代理加快系统的访问速度。描述:为了应付复杂的网络环境和不同地区用户的访问,通过CDN和反向代理加快用户访问的速度,同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存。







请到「今天看啥」查看全文