专栏名称: 36大数据

关注大数据和互联网趋势，最大，最权威，最干货的大数据微信号（dashuju36)。大数据第一科技媒体。不发软文，只做知识分享。

【福利】Net分布式系统系列教程（一）

36大数据 · 公众号 · 大数据 · 2017-05-07 07:43

正文

　一、设计目的

　　从事.Net平台开发系统已有8年多了，一直思考搭建.Net分布式系统架构。基于window平台搭建的大型分布式系统不多，之前了解过myspace、stackoverflow等大型网站。搭建一个大型平台需要综合考虑很多方面，不单纯是软件架构，还包括网络和硬件设备等。由于现代大部分应用建设都面临用户多、高并发、高可用的需求，传统软件架构已不能满足需求，需要支持分布式软件架构，能支持横向扩展，具有高可用、伸缩性、稳定性等特点。结合本人这些年的开发和设计经验，搭建如下系统架构。

　　二、系统软件结构

‍ 系统软件结构示意图

　　系统基于SOA架构设计，系统整体划分为不同组件或者应用服务，支持分布式的部署及扩展，并通过Nginx组件实现负载均衡。根据逻辑关联划分为：表现层、应用层和数据层。表现层负责系统与用户或者外部系统交互；应用层是服务于表现层，主要实现业务逻辑处理满足表现层的需求；数据层是负责系统数据的存储。

　　（1）表现层

主要负责与用户和外部系统交互，具体提供系统可操作WEB功能、数据交换程序或者数据接口。满足不同的场景使用。Web Layer主要用asp.net mvc5技术实现；Data Exchange根据需求实现数据交换程序；Data Interface主要基于http协议，用Web API技术实现。

　　（2）应用层

主要负责系统逻辑计算的实现，提供服务接口给展现层使用。此两层之间通信基于系统内部局域网tcp/ip协议，为了提高数据传输效率。根据应用服务职责不同，将分两大类，分别为业务应用服务和基础应用服务。业务应用服务实现业务需求的功能服务，比如用户订单、某类商品的管理功能等。基础应用服务实现系统基础公用的功能服务，比如：日志服务、缓存服务、用户认证服务功能等。本系统应用服务一般使用.NET平台的通信框架WCF技术实现，个别其他组件除外，比如MQ组件、Redis缓存组件。

（3）数据层

主要负责系统数据存储、同步、缓存和备份管理。本系统数据分为结构化数据和非结构化数据。对于结构化数据使用MSSQL2008以上数据库存储，基于MSSQL复制同步的机制，可以进行数据读写分离的实现，提升数据层面的优化。对于本系统业务日志数据的存储选型，由于考虑到业务日志数据结构多样化、数据量较大，所以选用MongoDB的NoSQL技术，同时系统面对着高并发的访问，采取了缓存的机制提升性能，选用Redis缓存组件实现数据缓存存储。对于非结构化数据存储，比如文档、图片等数据，本系统基于Windows平台NTFS文件系统实现文档存储和读写功能

　　三、系统物理结构

系统物理结构示意图

　　本系统网络分为：内部局域网和互联网。服务器位于内部局域网，通过反向代理服务器对互联网公布系统，用户通过互联网访问系统。从网络层面安全进行隔离。用户访问系统基于http协议，系统内部之间服务器通信基于tcp/ip协议。根据部署应用的划分，将服务器分为负载均衡服务器、Web服务器、应用服务器、数据服务器四大类。

　　（1）负载均衡服务器

　　　　基于Linux之CentOS平台搭建Nginx服务，作Load Balance。

　　（2）Web服务器

　　　　基于window平台下IIS web服务器。部署基于asp.net mvc、web api技术实现的程序。

　　（3）应用服务器

　　　　部署基于.net平台通信框架之WCF技术实现的服务接口，提供与展现层调用，其中部分公用组件，如MQ则根据组件的要求部署。

　　（4）数据服务器

　　本系统数据存储选用：mssql数据库、MongoDB、Redis缓存和文件存储。根据项目情况数据库可做读写分离，同时结合redis做缓存策略提高系统性能。

本章节先大致介绍系统框架及物理结构情况，由于涉及几个技术点，比如：nginx负载均衡搭建、asp.netmvc与WCF服务之间调用、redis分布式缓存使用、MongoDB存储日志、MQ异步传输日志数据、文件服务实现。后续逐步介绍。

关于CentOS系统介绍

　　CentOS（Community Enterprise Operating System，中文意思是：社区企业操作系统）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。基于Red Hat持续升级，和对已知BUG修复，所以CentOS更多用于搭建大型企业级服务器。目前较新版本为7.0，本文使用CentOS7 64bit进行搭建系统负载均衡。

安装VMWare

　　VMWare (Virtual Machine ware)是一个“虚拟PC”软件公司.它的产品可以使你在一台机器上同时运行二个或更多Windows、DOS、LINUX系统。与“多启动”系统相比，VMWare采用了完全不同的概念。多启动系统在一个时刻只能运行一个系统，在系统切换时需要重新启动机器。本文使用VMWare WorkStation12安装CentOS操作系统。详细安装步骤参考：查看，百度软件下载点击。

安装CentOS系统

　　首先需要下载CentOS安装包，下载IOS格式，本文使用CentOS7 64bit 版本，下载。

　　详细安装步骤请点击查看

　　注意事项：

　　1、分区的时候，选择EXT4格式，boot分区为400m，/分区为8G，/home分区为7G，var分区为6G，swap分区为2G

　　2、用户和组ID，都设为 1000

　　3、安装完成重启后提示License的，输入：1、2、r、yes 完成进入成功进入系统

　　4、ctrl+alt 鼠标切回本机电脑，不在虚拟机里

安装Nginx和配置

　　1、Nginx介绍

　　Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的工程师Igor Sysoev研发，供俄国大型的入口网站Rambler使用。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好。

　　2、安装部署　　

　　在CentOS7通过命令行安装Nginx服务器。

　　（1）添加Nginx仓储，添加 epel repository

sudo yum install epel-release

　　（2）检查是否已安装过nginx

find -name nginx

　　（3）如果有安装则删除

yum remove nginx

　　（4）安装nginx

sudo yum install nginx

　　（5）启动nginx

sudo systemctl start nginx
sudo systemctl enable nginx #可用

　　（6）将nginx 设置为启动系统自动启动nginx

echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local

　　（7）查看本机IP，为了后续配置nginx.conf所用

ifconfig

　　（8）修改nginx.conf配置文件

cd /etc/nginx/ #定位到nginx安装目录vim nginx.conf #通过vim打开nginx.conf配置文件进行配置

　　（9）主要配置节点，192.168.119.1:8081 和 192.168.119.1:8082 分别部署在 IIS7的两个ASP.NET MVC 开发的站点（在另一台电脑），设计软件架构解决方案后续介绍。

upstream 192.168.119.128{
    server 192.168.119.1:8081;
    server 192.168.119.1:8082;
}


server{
    listen   80;
    server_name  192.168.119.128;
    location /{
        proxy_pass   http://192.168.119.128;    }
    
}

　　（10）重启nginx服务

service nginx restart

以上记录在CentOS7操作系统搭建Nginx负载均衡解决方案记录。后续简介通过Keepalived搭建Nginx负载高可用解决方案。

End

阅读排行榜/精华推荐

入门学习

如果有人质疑大数据？不妨把这两个视频转给他

视频：大数据到底是什么都说干大数据挣钱 1分钟告诉你都在干什么

人人都需要知道关于大数据最常见的10个问题

进阶修炼

从底层到应用，那些数据人的必备技能

如何高效地学好 R?