360私有云平台Elasticsearch服务初探

Elasticsearch

Elasticsearch 是一款基于Apache Lucene框架构建的开源的、分布式的、可扩展的、（准）实时的文档存储和搜索引擎。在提供搜索服务以及日志分析方面已经日趋成熟，尤其是在Elasticsearch 5.x发布之后，在规范性、功能、性能等方面都有了极大的改进，并且进入了迅速迭代的过程，版本发布之快令人乍舌。

360Hulk云平台，作为业界首屈一指的私有云平台，绝不甘落寞，也在Elasticsearch上做了很多尝试，推出了面向搜索的Elasticsearch服务和面向日志分析的ELK服务。目前已经在公司内部大范围应用，承载数据量200+TB，日访问量超1000亿次。今天小编就为大家带来Elasticsearch在360私有云平台的实践。

Elasticsearch服务架构

Master节点独立

因为master承担着集群元数据管理的职责，例如indices、sharding等信息的维护，如果master节点和data节点混用的话，master相关功能的性能没法保证，而且一旦发生故障，集群恢复时间将被大大拉长。因此我们的Elasticsearch集群采用3个独立的master方案（有且只有唯一的一个节点真正承担着master的角色），一方面保证master相关功能的稳定，另一方面通过配置discovery.zen.minimum_master_nodes: 2降低了master选举时出现脑裂的几率。

负载均衡

我们使用data节点承接访问，但是为了业务使用的便捷性，集群使用了LVS将请求均衡的分担到各个data节点；同时提供了RS的动态监测机制，当data节点失联的时候，LVS会自动过滤掉该节点的请求。

业务独享集群

结合360业务的特点，为了尽量适配不同业务的需求场景，同时尽量降低各个业务线之间的相互影响，每个业务线可以申请自己独享的集群。同时，这种方案还大大降低了Elasticsearch集群不可用（当然这种情况出现几率极低，但不能保证不发生）的时候影响业务的范围。

用户认证和权限隔离

集群集成了SearchGuard（不要问我为啥不用X-Pack，因为穷，且懒），实现了用户认证和访问权限控制，做到了集群内部更细粒度的隔离，实现了各个子业务线内部应用之间的访问隔离。

分词支持

集群默认集成了ik分词（小编在这给各位看官一点提示：因为Elasticsearch 5.x之后关闭了Site Plugins的支持，所以需要自己编译然后拷贝相应文件到Elasticsearch Plugin目录），并且支持扩展分词词典和stopword扩展词典的动态更新。

用户端功能

基于Hulk私有云平台的自助功能

提供多种类型配置的套餐

提供多种类型配置的套餐可供业务选择，兼顾空间、成本和性能的考量。

界面化展示

默认提供配置好的Kibana服务，用户可以开箱即用，不用自己搭建和维护。

管理员功能

基于Hulk私有云平台的管理功能

Zabbix监控

基于FromDual框架的自定义监控指标，全面监控集群运行状态，及时告警；并且实现了简单场景的故障自动恢复（例如由节点存活报警自动触发的进程自启动等）