这张图上的日志系统比上一张图更具体的说明了其内部构成,并举了两个例子,一个是邮件服务的例子,另一个是移动应用网关的系统例子,实际生产中,我们收集了更多系统的日志,显然都画到一张图上也画不下。典型的应用系统都会涉及到负载均衡,集群,应用服务器,而且是多层级的。我们只用少数的例子说明一上问题。
0×11 邮件网关
上图的左边的系统,是一个典型的邮件系统的移动端的网关服务,也是一个多层级的基于负载均衡的系统, 当用户想通过域名访问邮件网关时,DNS服务器会根据有户的线路,把用户的请求转给对应线路的邮件网关的负载均衡的IP,在这之前也可在负载均衡前加一个威胁过滤的服务,如果共享一台的话过滤服务的,这台服务器需要有智能选路的功能。当主请求到达负载均衡服务时,负载均衡把请求转给后端的邮件网关,邮件网关再做完相关的检查后,会把请求现转给exchange邮件服务的负载均衡,由负载均衡决定由具体的那台服务器进行处理,如果在网关阶段主请求就有问题,就会拒绝请求。
在这个过程中,有多少结点产生日志,就可以汇聚多少的日志数据。
-
邮件网关的日志(Openresty)。
-
邮件服务器的的日志。(Exchange)
-
WAF系统日志。
0×12 移动网关
上图右边的系统是一个移动网关,移动服务网关和邮件网关功能类似,让外网用户的请求通过网关转给内网服务器。图上画是基于单层负载均衡,当代入到内部系统时,内网的被请求系统是不是基于负载均衡就不考虑了。这个应用系统,日志中心只是收集网关上的数据,网关代入到内网服务,并不向日志中心发数据,应用本身就是代理,可以聚合日志的地方主要是:
-
办公移动网关的日志(Openresty)。
-
WAF系统。
0×13 日志分析系统
日志分析的内部实现要比图上画的复杂,图只是将日志中心的基本服务部署画出来,有些mongo数据库和kafka队列没有体现在图上。日志中心分析系统的核心存储中心就是ES集群,还有管理数据存储的数据管理结点服务, 到管理节点使用的也是负载均衡技术,因为管理结点有一个以上。并且,日志分析系统,提供数据检索的WEB服务,与WEB服务相接关联的业务:
1.日志审计系统。
2.可视化大屏幕。
3.自动化分析服务。
0×20 安全日志处理业务
我们构建日志中心的目地是为了安全运维工作使用,我们对上一个图进行了加工,将原画收集两个系统的图,只改成收集邮件系统,把空出来的位置,用于展示日志中心的三大核心业务。