您当前的位置:中国科技商情网资讯正文

查询亿级数据毫秒级回来Elasticsearch是怎么做到的

放大字体  缩小字体 2020-03-08 15:30:39  阅读:7857 作者:责任编辑NO。杜一帆0322

查找是现代软件必备的一项根底功用,而 Elasticsearch 便是一款功用强大的开源分布式查找与数据剖析引擎。它能够从海量数据中快速找到相关信息,在同范畴内根本上没有竞争对手——近两年 DBRanking 的数据库评测中,ES 在查找引擎范畴一直位列榜首。

当你在 GitHub 上查找时,Elasticsearch 能轻松完成代码级的查找与高亮显现 ;当你在网上购物时,ES 可为你引荐喜爱的产品;当你下班打车回家时,ES 能够终究靠定位邻近的乘客和司机,协助渠道优化调度。

Elasticsearch 还被广泛运用于大数据近实时剖析,包含日志剖析、目标监控、信息安全等多个范畴。

作为现在最盛行的开源查找引擎,ES 在全球的下载量已超越 3.5 亿次,腾讯、滴滴、今天头条、饿了么、360 安全、小米,vivo 等国内许多闻名公司都在运用 Elasticsearch。

Elasticsearch十分简略上手,具有开箱即用的特性,你能够在极短的时刻内设置好开发环境,然后快速上手运用,继而在成百上千台服务器上完成 PB 级的数据处理。

尽管上手快,但要做到深化了解并高效运用,可就没那么简略了,比方:

1.为什么我的数据查不到,分明是有的啊!

2.什么鬼?为什么这几条数据出现在查找成果的前几位?

3.出产环境我需求多少台机器,索引的分片数怎么样设置才是合理的?

4.应该重视哪些目标,才或许正真的确保集群健康高效地运转?

5.关于日志型运用,怎么设置 Hot & Warm Architecture 节省本钱,怎样办理和优化根据时刻序列的索引数据,才干进步集群的全体功用?

6.为什么我的集群脑裂了?数据损坏后,怎样才干康复?

共享给你一张Elasticsearch 中心常识图谱,只需对每一个常识点细心整理并深化了解,才干处理作业中的实践问题。

这张图谱出自阮一鸣,他之前在 Elastic 我国开发者大会上做过共享,讲得适当的好。

前段时刻,阮一鸣和极客时刻协作,推出了一门视频课《Elasticsearch 中心技术与实战》,在课程中,他用理论与实践相结合的办法、深化浅出地解说了 Elasticsearch,只需你坚持学习,就能够把握 ES 的根本概念和服务建立,了解其运转机制和常用技巧,并经过上手实战了解 ES 在实践项目中的运用。

原价 129,限时拼团 99

仅限 200 人

△扫码试看或订阅

阮一鸣说,这门课覆盖了 Elastic 认证考试的悉数考点,想参加考试的朋友能够将这门课作为参阅教材,这也算是「学习技术之外的 bonus」了。

关于阮一鸣

阮一鸣,eBay Pronto 渠道技术负责人。Pronto 渠道办理了 eBay 内部上百个 Elasticsearch 集群,数据规划超越了 4000 个节点。这些集群在 ebay 的出产环境中,支撑了包含订单查找,产品引荐,日志办理,危险操控,IT 运维,安全监控等不同范畴的服务。

作为一名互联网职业的老兵,他从业近 20 年了,在大数据、云核算和功用优化方面积累了丰厚的经历。一起,他仍是一名接连创业者,兴办过手机游戏公司、个性化音乐引荐与共享渠道 8box。

他是怎么解说 Elasticsearch 的?

假如你对 Elasticsearch 有些了解,就会发现 ES 的产品迭代速度十分快,许多老的 API 都现已被抛弃不再运用,查找到的参数装备也大多发生了改变。

市面上的书本和教程都是根据 5.x 乃至是 2.x 版别。而在课程中,阮一鸣运用Elasticsearch 最新的 7.1 版别进行教育。

一切 ES 最新版别的特性,在课程里都会有全面和直观地展现,比方:用机器学习进行反常检测;用 Canvas 展现数据;用索引的生命周期办理东西对索引进行优化等等。

这个课大约分为 5 个部分:

1. 初识 Elasticsearch

Elasticsearch 中心概念、作业机制与运用场景;本地开发环境建立;倒排索引的原理与 ES 中 Analysis 的详细细节;Mapping 设置和一些根本的 Search & Aggregation API。

2. 深化了解 Elasticsearch

了解 Elasticsearch 分布式架构的原理;相关性算分的原理;数据建模的最佳实践;深化查找及聚合功用以进步查找成果的相关度。

3. 办理 Elasticsearch 集群

集群的水平扩展、参数装备、功用优化、故障诊断。

4. 运用 ELK 做大数据剖析

结合运用场景和数据,探究 Logstash、Kibana 的各项功用。

5. 运用实战作业坊

规划了电影查找和 Stack Overflow 用户查询问卷数据剖析两个实战项目,经过上手实践,你能够稳固所学的常识点,并运用到实践项目中。

原价 129,限时拼团 99

仅限 200 人

△扫码试看或订阅

最终,再给我们引荐三门极客时刻的好课。

音讯行列是每个后端人绕不开的论题,专栏从源码下手,解析了 MQ 的规划与完成。讲师李玥,在京东带领团队重构了自研的音讯行列产品,完成了超越 2000 个节点的超大规划集群布置,抗住了“11.11”和“618”两次大促,超越万亿流量洪峰的检测。在专栏中,他会将这些实践技巧倾囊相授。

原价 99,限时拼团 79

仅限 200 人

△扫码试读或订阅

极客时刻口碑之王,自己看了几遍,还引荐给朋友了,实实在在地帮我处理了许多问题。功用优化是软件体系中最有应战的作业,也是每个工程师都需求把握的中心技术,专栏大约 60 讲,讲了 Linux 功用的根本目标、东西,以及相应的观测、剖析和调优办法,用实践事例贯穿了从运用程序到操作体系的各个组件。毫不夸大地说,里边随意一个「套路篇」都值一个亿。

原价 99,限时拼团 79

仅限 200 人

△扫码试读或订阅

最近几年 Kubernetes 一跃成为容器王者,引荐 Kubernetes 项目维护者张磊的这个专栏,张磊从开发者和运用者的实在逻辑动身,帮你了解 Kubernetes 的中心特性,乃至从 Docker 诞生布景讲起,把规划准则和容器编列理念讲的分明白白。化繁为简,深化浅出。假如你觉得 Kubernetes 学习起来不流畅难明,那你必定要好好学学这个专栏。

原价 99,限时拼团 79

仅限 200 人

△扫码试读或订阅

“如果发现本网站发布的资讯影响到您的版权,可以联系本站!同时欢迎来本站投稿!