1、elasticsearch的倒排索引是什么
面试官：想了解你对基础概念的认知。
通俗解释一下就可以。
传统的我们的检索是通过文章，逐个遍历找到对应关键词的位置。
而倒排索引，是通过分词策略，形成了词和文章的映射关系表，这种词典+映射表即为倒排索引。
有了倒排索引，就能实现o（1）时间复杂度的效率检索文章了，极大的提高了检索效率。
学术的解答方式：
倒排索引，相反于一篇文章包含了哪些词，它从词出发，记载了这个词在哪些文档中出现过，由两部分组成——词典和倒排表。
加分项：倒排索引的底层实现是基于：FST（Finite State Transducer）数据结构。
lucene从4+版本后开始大量使用的数据结构是FST。FST有两个优点：
1、 空间占用小。通过对词典中单词前缀和后缀的重复利用，压缩了存储空间；
2、 查询速度快。O(len(str))的查询时间复杂度。
2、Elasticsearch 在部署时，对 Linux 的设置有哪些优化方法
面试官：想了解对 ES 集群的运维能力。
解
1、 关闭缓存 swap;
2、 堆内存设置为：Min（节点内存/2, 32GB）;
3、 设置最大文件句柄数；
4、 线程池+队列大小根据业务需要做调整；
5、 磁盘存储 raid 方式——存储有条件使用 RAID10，增加单节点性能以及避免单
节点存储故障。
3、详细描述一下Elasticsearch索引文档的过程
面试官：想了解ES的底层原理，不再只关注业务层面了。
这里的索引文档应该理解为文档写入ES，创建索引的过程。
文档写入包含：单文档写入和批量bulk写入，这里只解释一下：单文档写入流程。
第一步：客户写集群某节点写入数据，发送请求。（如果没有指定路由/协调节点，请求的节点扮演路由节点的角色。）
第二步：节点1接受到请求后，使用文档_id来确定文档属于分片0。请求会被转到另外的节点，假定节点3。因此分片0的主分片分配到节点3上。
第三步：节点3在主分片上执行写操作，如果成功，则将请求并行转发到节点1和节点2的副本分片上，等待结果返回。所有的副本分片都报告成功，节点3将向协调节点（节点1）报告成功，节点1向请求客户端报告写入成功。
如果面试官再问：第二步中的文档获取分片的过程？
回借助路由算法获取，路由算法就是根据路由和文档id计算目标的分片id的过程。
1shard = hash(_routing) % (num_of_primary_shards)
4、在并发情况下，Elasticsearch 如果保证读写一致？
1、 可以通过版本号使用乐观并发控制，以确保新版本不会被旧版本覆盖，由应用
层来处理具体的冲突；
2、 另外对于写操作，一致性级别支持 quorum/one/all，默认为 quorum，即只有当大多数分片可用时才允许写操作。但即使大多数可用，也可能存在因为网络等原因导致写入副本失败，这样该副本被认为故障，分片将会在一个不同的节点
上重建。
3、 对于读操作，可以设置 replication 为 sync(默认)，这使得操作在主分片和副本分片都完成后才会返回；如果设置 replication 为 async 时，也可以通过设置搜索请求参数_preference 为 primary 来查询主分片，确保文档是最新版本。
5、请解释在 Elasticsearch 集群中添加或创建索引的过程？
要添加新索引，应使用创建索引 API 选项。创建索引所需的参数是索引的配置Settings，索引中的字段 Mapping 以及索引别名 Alias。
也可以通过模板 Template 创建索引。
6、安装 Elasticsearch 需要依赖什么组件吗？
ES 早期版本需要JDK，在7.X版本后已经集成了 JDK，已无需第三方依赖。
7、如何使用 Elastic Reporting ？
收费功能，只是了解，点到为止。
Reporting API有助于将检索结果生成 PD F格式，图像 PNG 格式以及电子表格 CSV 格式的数据，并可根据需要进行共享或保存。
8、elasticsearch 是如何实现 master 选举的
面试官：想了解 ES 集群的底层原理，不再只关注业务层面了。
解
前置前提：
1、 只有候选主节点（master：true）的节点才能成为主节点。
2、 最小主节点数（min_master_nodes）的目的是防止脑裂。
这个我看了各种网上分析的版本和源码分析的书籍，云里雾里。核对了一下代码，核心入口为 findMaster，选择主节点成功返回对应 Master，否则返回 null。
选举流程大致描述如下：
第一步：确认候选主节点数达标，elasticsearch.yml 设置的值
discovery.zen.minimum_master_nodes；
第二步：比较：先判定是否具备 master 资格，具备候选主节点资格的优先返回；
若两节点都为候选主节点，则 id 小的值会主节点。
注意这里的 id 为 string 类型。
题外话：获取节点 id 的方法。
1GET /_cat/nodes?v&h=ip,port,heapPercent,heapMax,id,name 2ip port heapPercent heapMax id name
9、在并发情况下，Elasticsearch如果保证读写一致？
1、 可以通过版本号使用乐观并发控制，以确保新版本不会被旧版本覆盖，由应用层来处理具体的冲突；
2、 另外对于写操作，一致性级别支持quorum/one/all，默认为quorum，即只有当大多数分片可用时才允许写操作。但即使大多数可用，也可能存在因为网络等原因导致写入副本失败，这样该副本被认为故障，分片将会在一个不同的节点上重建。
3、 对于读操作，可以设置replication为sync(默认)，这使得操作在主分片和副本分片都完成后才会返回；如果设置replication为async时，也可以通过设置搜索请求参数_preference为primary来查询主分片，确保文档是最新版本。
10、详细描述一下Elasticsearch更新和删除文档的过程。
1、 删除和更新也都是写操作，但是Elasticsearch中的文档是不可变的，因此不能被删除或者改动以展示其变更；
2、 磁盘上的每个段都有一个相应的.del文件。当删除请求发送后，文档并没有真的被删除，而是在.del文件中被标记为删除。该文档依然能匹配查询，但是会在结果中被过滤掉。当段合并时，在.del文件中被标记为删除的文档将不会被写入新段。
3、 在新的文档被创建时，Elasticsearch会为该文档指定一个版本号，当执行更新时，旧版本的文档在.del文件中被标记为删除，新版本的文档被索引到一个新段。旧版本的文档依然能匹配查询，但是会在结果中被过滤掉。
11、elasticsearch 读取数据
使用RestFul API向对应的node发送查询请求，根据did来判断在哪个shard上，返回的是primary和replica的node节点集合
这样会负载均衡地把查询发送到对应节点，之后对应节点接收到请求，将document数据返回协调节点，协调节点把document返回给客户端
12、您能解释一下X-Pack for Elasticsearch的功能和重要性吗？
X-Pack 是与Elasticsearch一起安装的扩展程序。
X-Pack的各种功能包括安全性（基于角色的访问，特权/权限，角色和用户安全性），监视，报告，警报等。
13、Elasticsearch 中的节点（比如共 20 个），其中的 10 个选了一个master，另外 10 个选了另一个 master，怎么办？
1、 当集群 master 候选数量不小于 3 个时，可以通过设置最少投票通过数量（discovery.zen.minimum_master_nodes）超过所有候选节点一半以上来解决脑裂问题；
2、 当候选数量为两个时，只能修改为唯一的一个 master 候选，其他作为 data节点，避免脑裂问题。
14、解释一下 Elasticsearch集群中的 索引的概念 ？
Elasticsearch 集群可以包含多个索引，与关系数据库相比，它们相当于数据库表
15、你可以列出 Elasticsearch 各种类型的分析器吗？
Elasticsearch Analyzer 的类型为内置分析器和自定义分析器。
Standard Analyzer
标准分析器是默认分词器，如果未指定，则使用该分词器。
它基于Unicode文本分割算法，适用于大多数语言。
Whitespace Analyzer
基于空格字符切词。
Stop Analyzer
在simple Analyzer的基础上，移除停用词。
Keyword Analyzer
不切词，将输入的整个串一起返回。
自定义分词器的模板
自定义分词器的在Mapping的Setting部分设置：
PUT my_custom_index { "settings":{ "analysis":{ "char_filter":{}, "tokenizer":{}, "filter":{}, "analyzer":{} } } }
脑海中还是上面的三部分组成的图示。其中：
“char_filter”:{},——对应字符过滤部分；
“tokenizer”:{},——对应文本切分为分词部分；
“filter”:{},——对应分词后再过滤部分；
“analyzer”:{}——对应分词器组成部分，其中会包含：1. 2. 3。
16、解释一下 Elasticsearch Node？
节点是 Elasticsearch 的实例。实际业务中，我们会说：ES集群包含3个节点、7个节点。
这里节点实际就是：一个独立的 Elasticsearch 进程，一般将一个节点部署到一台独立的服务器或者虚拟机、容器中。
不同节点根据角色不同，可以划分为：
主节点
帮助配置和管理在整个集群中添加和删除节点。
数据节点
存储数据并执行诸如CRUD（创建/读取/更新/删除）操作，对数据进行搜索和聚合的操作。
1、 客户端节点（或者说：协调节点） 将集群请求转发到主节点，将与数据相关的请求转发到数据节点
2、 摄取节点
用于在索引之前对文档进行预处理。
17、在安装Elasticsearch时，请说明不同的软件包及其重要性？
这个貌似没什么好说的，去官方文档下载对应操作系统安装包即可。
部分功能是收费的，如机器学习、高级别 kerberos 认证安全等选型要知悉。
18、Elasticsearch在部署时，对Linux的设置有哪些优化方法
面试官：想了解对ES集群的运维能力。
1、 关闭缓存swap;
2、 堆内存设置为：Min（节点内存/2, 32GB）;
3、 设置最大文件句柄数；
4、 线程池+队列大小根据业务需要做调整；
5、 磁盘存储raid方式——存储有条件使用RAID10，增加单节点性能以及避免单节点存储故障。
19、请解释有关 Elasticsearch的 NRT？
从文档索引（写入）到可搜索到之间的延迟默认一秒钟，因此Elasticsearch是近实时（NRT）搜索平台。
也就是说：文档写入，最快一秒钟被索引到，不能再快了。
写入调优的时候，我们通常会动态调整：refresh_interval = 30s 或者更达值，以使得写入数据更晚一点时间被搜索到。
20、elasticsearch 的 document设计
在使用es时 避免使用复杂的查询语句（Join 、聚合），就是在建立索引时，
就根据查询语句建立好对应的元数据。
21、Kibana在Elasticsearch的哪些地方以及如何使用？
Kibana是ELK Stack –日志分析解决方案的一部分。
它是一种开放源代码的可视化工具，可以以拖拽、自定义图表的方式直观分析数据，极大降低的数据分析的门槛。
未来会向类似：商业智能和分析软件 - Tableau 发展。
22、elasticsearch是如何实现master选举的
面试官：想了解ES集群的底层原理，不再只关注业务层面了。
前置前提：
1、 只有候选主节点（master：true）的节点才能成为主节点。
2、 最小主节点数（min_master_nodes）的目的是防止脑裂。
这个我看了各种网上分析的版本和源码分析的书籍，云里雾里。
核对了一下代码，核心入口为findMaster，选择主节点成功返回对应Master，否则返回null。选举流程大致描述如下：
第一步：确认候选主节点数达标，elasticsearch.yml设置的值discovery.zen.minimum_master_nodes；
第二步：比较：先判定是否具备master资格，具备候选主节点资格的优先返回；若两节点都为候选主节点，则id小的值会主节点。注意这里的id为string类型。
题外话：获取节点id的方法。
1GET /_cat/nodes?v&h=ip,port,heapPercent,heapMax,id,name 2ip port heapPercent heapMax id name
23、客户端在和集群连接时，是如何选择特定的节点执行请求的？
TransportClient利用transport模块远程连接一个ElasticSearch集群。它并不加入到集群中，只是简单的获得一个或者多个初始化的transport地址，并以轮询的方式与这些地址进行通信。
24、你能告诉我 Elasticsearch 中的数据存储功能吗？
Elasticsearch是一个搜索引擎，输入写入ES的过程就是索引化的过程，数据按照既定的 Mapping 序列化为Json 文档实现存储。
25、Master 节点和 候选 Master节点有什么区别？
主节点负责集群相关的操作，例如创建或删除索引，跟踪哪些节点是集群的一部分，以及决定将哪些分片分配给哪些节点。
拥有稳定的主节点是衡量集群健康的重要标志。
而候选主节点是被选具备候选资格，可以被选为主节点的那些节点。
26、介绍下你们电商搜索的整体技术架构。
27、客户端在和集群连接时，如何选择特定的节点执行请求的？
TransportClient 利用 transport 模块远程连接一个 elasticsearch 集群。它并不加入到集群中，只是简单的获得一个或者多个初始化的 transport 地址，并以 轮询 的方式与这些地址进行通信。
28、对于 GC 方面，在使用 Elasticsearch 时要注意什么？
1、 SEE
2、 倒排词典的索引需要常驻内存，无法 GC，需要监控 data node 上 segmentmemory 增长趋势。
3、 各类缓存，field cache, filter cache, indexing cache, bulk queue 等等，要设置合理的大小，并且要应该根据最坏的情况来看 heap 是否够用，也就是各类缓存全部占满的时候，还有 heap 空间可以分配给其他任务吗？避免采用 clear cache等“自欺欺人”的方式来释放内存。
4、 避免返回大量结果集的搜索与聚合。确实需要大量拉取数据的场景，可以采用scan & scroll api 来实现。
5、 cluster stats 驻留内存并无法水平扩展，超大规模集群可以考虑分拆成多个集群通过 tribe node 连接。
6、 想知道 heap 够不够，必须结合实际应用场景，并对集群的 heap 使用情况做持续的监控。
29、拼写纠错是如何实现的？
1、拼写纠错是基于编辑距离来实现；编辑距离是一种标准的方法，它用来表示经过插入、删除和替换操作从一个字符串转换到另外一个字符串的最小操作步数；
2、编辑距离的计算过程：比如要计算 batyu 和 beauty 的编辑距离，先创建一个7×8 的表（batyu 长度为 5，coffee 长度为 6，各加 2），接着，在如下位置填入
黑色数字。
其他格的计算过程是取以下三个值的最小值：
如果最上方的字符等于最左方的字符，则为左上方的数字。否则为左上方的数字 +1。（对于 3,3 来说为 0）左方数字+1（对于 3,3 格来说为 2）上方数字+1（对于 3,3 格来说为 2）
最终取右下角的值即为编辑距离的值 3。
对于拼写纠错，我们考虑构造一个度量空间（Metric Space），该空间内任何关
系满足以下三条基本条件：
d(x,y) = 0 -- 假如 x 与 y 的距离为 0，则 x=y
d(x,y) = d(y,x) -- x 到 y 的距离等同于 y 到 x 的距离
d(x,y) + d(y,z) >= d(x,z) -- 三角不等式
1、 根据三角不等式，则满足与 query 距离在 n 范围内的另一个字符转 B，其与 A的距离最大为 d+n，最小为 d-n。
2、 BK 树的构造就过程如下：每个节点有任意个子节点，每条边有个值表示编辑距离。所有子节点到父节点的边上标注 n 表示编辑距离恰好为 n。比如，我们有棵树父节点是”book”和两个子
点”cake”和”books”，”book”到”books”的边标号 ：
1、 ”book”到”cake”的边上标号.
2、 从字典里构造好树后，无论何时你想插入新单词时.计算该单词与根节点的编辑距离，并且查找数值为 d(neweord, root)的边。递归得与各子节点进行比较，直到没有子节点，你就可以创建新的子节点并将新单词保存在那。比如，插入”boo”到刚才上述例子的树中，我们先检查根节点，查找 d(“book”, “boo”) = 1 的边，然后检查标号为1 的边的子节点，得到单词”books”。我们再计算距离 d(“books”, “boo”)=2，则将新单词插在”books”之后，边标号为 2。
3、 查询相似词如下：计算单词与根节点的编辑距离 d，然后递归查找每个子节点标号为 d-n 到 d+n（包含）的边。假如被检查的节点与搜索单词的距离 d 小于n，则返回该节点并继续查询。比如输入 cape 且最大容忍距离为 1，则先计算和根的编辑距离 d(“book”,“cape”)=4，然后接着找和根节点之间编辑距离为 3 到5 的，这个就找到了cake 这个节点，计算 d(“cake”, “cape”)=1，满足条件所以返回 cake，然后再找和 cake 节点编辑距离是 0 到 2 的，分别找到 cape 和cart 节点，这样就得到 cape 这个满足条件的结果。
30、在Elasticsearch中 cat API的功能是什么？
cat API 命令提供了Elasticsearch 集群的分析、概述和运行状况，其中包括与别名，分配，索引，节点属性等有关的信息。
这些 cat 命令使用查询字符串作为其参数，并以J SON 文档格式返回结果信息。
精彩链接
您阅读本篇文章共花了：
发表评论