用ElasticSearch搭建自己的搜索和分析引擎

发布时间：2017-07-22 15:53:38 已帮助：342人 来源：石家庄北大青鸟

　　ElasticSearch（下简称ES）是基于Lucene的一个开源搜索引擎产品。Lucene是java编写的一套开源文档检索的基础库，包括词、文档、域、倒排索引、段、相关性得分等基本功能，而ES则是使用了这些库，搭建的一个可以直接拿来使用的搜索引擎产品。直观地理解，Lucene提供汽车零部件，而ES直接卖车。
　　说起ES的诞生，也是个很有意思的故事。ES的作者Shay Banon——“几年前他还是一个待业工程师，跟随自己的新婚妻子来到伦敦。妻子想在伦敦学习做一名厨师，而自己则想为妻子开发一个方便搜索菜谱的应用，所以才接触到Lucene。直接使用Lucene构建搜索有很多问题，包含大量重复性的工作，所以Shay便在Lucene的基础上不断地进行抽象，让Java程序嵌入搜索变得更容易，经过一段时间的打磨便诞生了他的个开源作品Compass，中文即'指南针'的意思。之后，Shay找到了一份面对高性能分布式开发环境的新工作，在工作中他渐渐发现越来越需要一个易用的、高性能、实时、分布式搜索服务，于是他决定重写Compass，将它从一个库打造成了一个独立的server，并将其改名为Elasticsearch。“引自（http://www.infoq.com/cn/news/2014/12/elasticsearch-birth-development）。
　　可见鼓捣起来的程序员是多么有爱，虽然据说Shay Banon承诺给妻子的菜谱搜索还没问世......
　　本文大概地介绍了ES的原理，以及Wetest在使用ES中的一些经验总结。因为ES本身涉及的功能和知识点非常广泛，所以这里重点挑出了实际项目中可能会用到，也可能会踩坑的一些关键点进行了阐述。
　　重要概念
　　集群（Cluster）：ES是一个分布式的搜索引擎，一般由多台物理机组成。这些物理机，通过配置一个相同的cluster name，互相发现，把自己组织成一个集群。
　　节点（Node)：同一个集群中的一个 Elasticearch主机。
　　主分片（Primary shard）：索引（下文介绍）的一个物理子集。同一个索引在物理上可以切多个分片，分布到不同的节点上。分片的实现是Lucene 中的索引。
　　注意：ES中一个索引的分片个数是建立索引时就要指定的，建立后不可再改变。所以开始建一个索引时，就要预计数据规模，将分片的个数分配在一个合理的范围。
　　副本分片（Replica shard）：每个主分片可以有一个或者多个副本，个数是用户自己配置的。ES会尽量将同一索引的不同分片分布到不同的节点上，提高容错性。对一个索引，只要不是所有shards所在的机器都挂了，就还能用。主、副本、节点的概念如下图：
　　索引（Index)：逻辑概念，一个可检索的文档对象的集合。类似与DB中的database概念。同一个集群中可建立多个索引。比如，生产环境常见的一种方法，对每个月产生的数据建索引，以单个索引的量级可控。索引->类型->文档，ES中的文档以这样的逻辑关系组织了起来。
　　类型（Type）：索引的下一级概念，大概相当于数据库中的table。同一个索引里可以包含多个 Type。 个人感觉在实际使用中type这一级常常用的不多，直接就在一个索引中建一个type，在这个type下去建立文档集合和进行搜索了。
　　文档（Document)：即搜索引擎中的文档概念，也是ES中一个可以被检索的基本单位，相当于数据库中的row，一条记录。
　　字段（Field）：相当于数据库中的column。ES中，每个文档，其实是以json形式存储的。而一个文档可以被视为多个字段的集合。比如一篇文章，可能包括了主题、摘要、正文、作者、时间等信息，每个信息都是一个字段，最后被整合成一个json串，落地到磁盘。
　　映射（Mapping）：相当于数据库中的schema，用来约束字段的类型，不过 Elasticsearch 的 mapping 可以不显示地指定、自动根据文档数据创建。
　　Elasticsearch很友好地提供了RestFul的API，可以通过HTTP请求直接完成所有操作。比如下面官方的一个例子，往索引twitter添加文档，type是tweet，文档的id是1：

以上就是 石家庄北大青鸟 小编为您整理用ElasticSearch搭建自己的搜索和分析引擎的全部内容,更多精彩请 在线咨询
也可以拨打咨询电话： 400-666-4820 让在线老师为你详细解答

---