大数据开发经常用到 Elasticesearch，今天做一下介绍。

1.Elasticsearch 简介

Elaticsearch，简称为 ES， 是一个开源的高扩展的分布式全文检索引擎，特点：

• 近乎实时的存储、检索数据；
• 扩展性好，可以扩展到上百台服务器，处理PB级别的数据；
• 使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能；
• 通过简单的 RESTful API 来隐藏 Lucene 的复杂性，从而让全文搜索变得简单。

2.全文索引

2.1 什么是全文索引

对于非结构化数据查询方法：

• 顺序扫描法：要找内容包含某一个字符串的文件，就逐个文档查询，对于每一个文档，从头查到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。
• 全文检索：将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息称之为索引。

这种先建立索引，再对索引进行搜索的过程就叫全文检索。

2.2 如何实现

可以使用 Lucene 实现全文检索。Lucene 是 apache 下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。

2.3 应用场景

对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，例如搜索引擎。

2.4 实现

文件→字符串：非结构化数据中所存储的信息是每个文件包含哪些字符串，也即已知文件，欲求字符串相对容易，也即是从文件到字符串的映射。

字符串→文件：我们想搜索的信息是哪些文件包含此字符串，也即已知字符串，欲求文件，也即从字符串到文件的映射。

因此，索引需要保存从字符串到文件的映射，则会大大提高搜索速度。

采用倒排索引的方法：

正排索引：

文档编号	文档内容
1	上海的鲜花
2	上海的公园
3	公园的鲜花绽放

倒排索引：

单词ID	单词	倒排列表
1	上海	1，2
2	鲜花	1，3
3	公园	2，3
4	绽放	3
5	的	1，2，3

• 比如单词“上海”，其单词编号为1，倒排列表为{1,2}，说明文档集合中1、2文档都包含了这个单词。

3.Elasticsearch 与 MySQL 的区别

3.1 分词

MySQL：

背景：在做中文搜索时，组合词检索在数据库是很难完成的。

例如：当用户在搜索框输入“四川火锅”时，数据库通常只能把这四个字去进行全部匹配。可是在文本中，可能会出现“推荐四川好吃的火锅”，这时候就没有结果了。

Elasticsearch：

提升：使用ES搜索服务后，就不用太过于关注分词了，因为 Elasticsearch 支持中文分词插件，很好地解决了问题。

原因：当用户使用 Elasticsearch 时进行搜索时，Elasticsearch 就自动帮他分好词了。

例如：输入“四川火锅”时，Elasticsearch 会自动做下面两件事：

• 将“四川火锅”分词成“四川”和“火锅”
• 查找包含这两个词的文档

3.2 响应时间

MySQL：

背景：当数据库中的文档数仅仅上万条时，关键词查询就比较慢了。如果一旦到企业级的数据，响应速度就会更加不可接受。

原因：在数据库做模糊查询时，如 LIKE 语句，它会遍历整张表，同时进行字符串匹配。

例如，在数据库查询“手机”时，数据库会在每一条记录去匹配“手机”这两字是否出现。实际上，并不是所有记录都包含“手机”，所以做了很多无用功。

这个步骤都不高效，而且随着数据量的增大，消耗的资源和时间都会线性的增长。

Elasticsearch：

提升：TB 级数据在毫秒级就能返回检索结果，很好地解决了痛点。

原因：Elasticsearch 是基于倒排索引。

例如：搜索“手机”，ES 已经提前分词了，直接去查对应文档。

3.3 相关性

MySQL：

背景：在用数据库做搜索时，结果经常会出现一系列不匹配的文档。

原因：数据库并不支持相关性搜索。

例如，当用户搜索“咖啡厅”的时候，他很可能更想知道附近哪里可以喝咖啡，而不是怎么开咖啡厅。

Elasticsearch：

提升：使用了 ES 搜索服务后，发现 Elasticsearch 能很好地支持相关性评分。通过合理的优化，ES 搜索服务能够返回精准的结果，满足用户的需求。

原因：Elasticsearch 支持全文搜索和相关度评分。这样在返回结果就会根据分数由高到低排列。分数越高，意味着和查询语句越相关。

例如，当用户搜索“星巴克咖啡”，带有“星巴克咖啡”的信息就要比只包含“咖啡”的信息靠前。

3.4 总结

Elasticsearch 和 MySql 分工不同，MySQL 负责存储数据，Elasticsearch 负责搜索数据。

1. 传统数据库在全文检索方面很鸡肋，海量数据下的查询很慢，对非结构化文本数据的不支持，ES 支持非结构化数据的存储和查询。
2. ES 支持分布式文档存储。
3. ES 是分布式实时搜索，并且响应时间比关系型数据库快。
4. ES 在分词方面比关系型好，能做到精确分词。
5. ES 对已有的数据，在数据匹配性方面比关系型数据库好， 例如：搜索“星巴克咖啡”，ES会优先返回带有“星巴克咖啡”的数据，不会优先返回带有“咖啡”的数据。