面试官:Kafka和ES选主有什么区别?

liuian 2025-07-08 20:07 61 浏览

Kafka 和 ES 都是用来处理大数据的中间件，一个是消息中间件的代表（Kafka），另一个是大数据搜索引擎的代表（ES）。它们在 Java 领域的使用非常广泛，在大数据方面就更不用说了，但它们的选主（选择主节点）有什么关联与区别呢？接下来，我们一起来看。

1.基础概念

1.1 什么是Kafka？

Kafka 是一个分布式流处理平台，由 LinkedIn 公司开发和维护，之后成为 Apache 软件基金会的一部分。它主要是为处理实时数据而设计的，是一个高吞吐量的分布式发布订阅消息系统。

Kafka 集群组成如下：

说明：每个 Broker 就是一个 Kafka 实例（其中的 Broker 1 为 Controller，也就是主 Broker），一个 Broker 中有多个 Topic，一个 Topic 中有多个分区，分区分为两类：Leader 分区和 Follower 分区。

1.2 什么是ES？

ES 全称 Elasticsearch，是一个开源的高扩展的分布式全文检索引擎。它可以近乎实时地存储、检索数据，并且具有出色的扩展性，可以扩展到上百台服务器，处理 PB 级别的数据。Elasticsearch 使用 Java 开发，并使用 Apache Lucene 作为其核心来实现所有索引和搜索的功能，但它通过简单的 RESTful API 来隐藏 Lucene 的复杂性，使得全文搜索变得简单。

ES 集群组成如下：

说明：一个 ES 集群中只有一个 Master（主节点）节点，其他的为数据节点（还有其他节点类型，这里忽略），主节点协调整个集群的工作，数据节点中存储了多个分片，每个分片分为两种类型：主分片和副本分片（类似 Kafka 中分区的概念）。

2.Kafka和ES选主

Kafka 选主指的是选 Broker 中的 Controller，而 ES 选主指的是选取集群中的 Master，它们两个的关联是 Kafka 新版本（2.8 之后）和 ES 新版本（7.0 之后），它们的选主策略都是基于 Raft 算法实现的。

PS：当然，Kafka 中叫做 KRaft，ES 也是在 Raft 算法的基础上扩充了二阶段选举，但它们基于的底层算法都是 Raft 算法。

3.什么是Raft算法？

Raft 算法是一种分布式一致性算法，主要用于在分布式系统中实现数据副本的一致性。该算法是 Paxos 算法的工程实现，其主要特点是通过较为简单的算法实现分布式系统的数据一致性和高可用。

Raft 算法的核心是通过选举投票，少数人服从多数人的原则（投票过半原则），如果有一半以上的人投票给某个节点作为 Leader，那么它就是新的 Leader。

在 Raft 算法中，分布式系统中的所有节点被划分为三种角色：领导者（Leader）、追随者（Follower）和候选人（Candidate），这三者身份的转换如下：

leader -> follower：倘若 leader 发现当前系统中出现了更大的任期，则会进行“禅让”，主动退位成 follower。这里 leader 发现更大任期的方式包括：

向 follower 提交日志同步请求时，从 follower 的响应参数中获得。
收到了来自新任 leader 的心跳或者同步日志请求。
收到了任期更大的 candidate 的拉票请求。

follower -> candidate：leader 需要定期向 follower 发送心跳，告知自己仍健在的消息。倘若 follower 超过一定时长没收到 leader 心跳时，会将状态切换为 candidate，在当前任期的基础上加 1 作为竞选任期，发起竞选尝试补位。
candidate -> follower：candidate 参与竞选过程中，出现以下两种情形时会退回 follower：

多数派投了反对票。
竞选期间，收到了任期大于等于自身竞选任期的 leader 传来的请求。

candidate -> leader：candidate 竞选时，倘若多数派投了赞同票，则切换为 leader。
candidate -> candidate：candidate 的竞选流程有一个时间阈值. 倘若超时仍未形成有效结论（多数派赞同或拒绝），则会维持 candidate 身份，将竞选任期加1，发起新一轮竞选。