以下是极客时间关于 Elasticsearch 新专栏的介绍,如果你恰好需要,欢迎关注。
Elasticsearch 是一款功能强大的
开源分布式搜索与数据分析引擎
,可以从海量数据中快速找到相关信息,在同领域内几乎没有竞争对手——近两年 DB-Engines 的数据库评测中,ES 在搜索引擎领域
始终位列第一
。
当你在 GitHub 上搜索时,Elasticsearch 可以实现代码级的搜索与高亮显示 ;当你在网上购物时,ES 可为你推荐喜欢的商品;当你下班打车回家时,ES 可以通过定位附近的乘客和司机,帮助平台优化调度。
ES 还被广泛运用于
大数据近实时分析
,包括
日志分析、指标监控、信息安全
等多个领域。
它可以探索海量结构化、非结构化数据,按需创建可视化报表,对监控数据设置报警阈值,甚至通过使用机器学习,做到自动识别异常状况。
作为目前
最流行的开源搜索引擎
,ES 在全球的下载量已超过 3.5 亿次,腾讯、滴滴、今日头条、饿了么、360 安全、小米,vivo 等国内诸多知名公司都在使用 Elasticsearch。
如何深入理解,并高效使用 ES?
Elasticsearch
非常容易上手
,具有开箱即用的特性,你可以在极短的时间内设置好开发环境,然后快速上手使用,继而在成百上千台服务器上实现
PB 级的数据处理
。
虽然上手快,但要做到
深入理解并高效使用,可就没那么简单了
,比如:
1. 为什么我的数据查不到,明明是有的啊!
2. 什么鬼?为什么这几条数据出现在搜索结果的前几位?
3. 生产环境我需要多少台机器,索引的分片数怎么样设置才是合理的?
4. 应该关注哪些指标,才能保证集群健康高效地运行?
5. 对于日志型应用,如何设置 Hot & Warm Architecture 节约成本,怎样管理和优化基于时间序列的索引数据,才能提高集群的整体性能?
6. 为什么我的集群脑裂了?数据损坏后,怎样才能恢复?
其实,想要掌握 Elasticsearch,除了要理解其
分布式架构的原理
外,还要了解一些
信息检索领域
的知识和相关技巧。
这里有一张
Elasticsearch 核心知识图谱
,只有对每一个知识点仔细梳理并深入理解,才能解决工作中的实际问题。
最近极客时间出了一门视频课
《Elasticsearch 核心技术与实战》
。
在课程中,他用理论与实践相结合的方式、深入浅出地讲解了 Elasticsearch。
只要你坚持学习,就可以掌握 ES 的基本概念和服务搭建,了解其运行机制和常用技巧,并通过上手实战理解 ES 在实际项目中的应用。
关于作者阮一鸣
阮一鸣,eBay Pronto 平台技术负责人。Pronto 平台管理了 eBay 内部上百个 ES 集群,数据规模超过了 4000 个节点。
这些集群在 eBay 的生产环境中,支撑了包括订单搜索,商品推荐,日志管理,风险控制,IT 运维,安全监控等不同领域的服务。
他是如何讲解 Elasticsearch 的?
如果你对 Elasticsearch 有些了解,就会发现 ES 的
产品迭代速度非常快
,很多老的 API 都已经被废弃不再使用,搜索到的参数配置也大多发生了变化。
市面上的书籍和教程都是基于 5.x 甚至是 2.x 版本。而在课程中,他使用
Elasticsearch 最新 7.1 版本
进行教学。
所有
ES 最新版本的特性
,在课程里都会有全面和直观地展现,比如:
用机器学习进行异常检测;用 Canvas 展示数据;用索引的生命周期管理工具对索引进行优化等等。
这个课大概分为 5 个部分:
1.
初识 Elasticsearch:
Elasticsearch 核心概念、工作机制与应用场景;本地开发环境搭建;倒排索引的原理与 ES 中 Analysis 的具体细节;Mapping 设置和一些基本的 Search & Aggregation API。
2
. 深入了解 Elasticsearch:
理解 Elasticsearch 分布式架构的原理;相关性算分的原理;数据建模的最佳实践;深入搜索及聚合功能以提高搜索结果的相关度。
3
. 管理 Elasticsearch 集群:
集群的水平扩展、参数配置、性能优化、故障诊断。
4
. 利用 ELK 做大数据分析:
结合使用场景和数据,探索 Logstash、Kibana 的各项功能。
5
. 应用实战工作坊:
设计了电影搜索和 Stack Overflow 用户调查问卷数据分析两个实战项目,通过上手实践,你可以巩固所学的知识点,并运用到实际项目中。
需要什么基础,能获得什么?
这门课不仅适合有 ES 使用经验的人,也适合初学者。如果你有
编程知识和数据库的相关使用经验
,学起来会更加简单,但
这
并不是必须的
。
针对