kafka在微服务中作为消息总线靠谱吗
is kafka reliable when used as a message bus in micro services
我正在使用 kafka 作为微服务架构的消息总线，因此多个服务在一个主题上监听一条消息。因此，服务高度依赖于话题的直播。
但是，在很多情况下，我在主题上得到 leader not available、broker not available 和 leader= - 1。
现在，我不确定我是否可以依赖 kafka 主题，因为当平台中的主题出现问题时服务会中断。
有人可以阐明主题的可靠性和可靠性吗？如果我们可以解决上述问题，我们可以恢复吗？
我将通过解释 Kafka 的一般工作原理以及它如何处理故障来回答您的问题。
每个主题，都是一个特定的数据流（类似于数据库中的table）。主题被分成 partitions（任意多个），其中分区中的每条消息都有一个增量 ID，称为偏移量，如下所示。
分区 0:
+---+---+---+-----+
| 0 | 1 | 2 | ... |
+---+---+---+-----+
分区 1:
+---+---+---+---+----+
| 0 | 1 | 2 | 3 | .. |
+---+---+---+---+----+
现在一个Kafka集群是由多个broker组成的。每个代理都用一个 ID 标识，并且可以包含特定的主题分区。
2 个主题的示例（每个主题分别有 3 个和 2 个分区）：
经纪人 1:
+-------------------+
| Topic 1 |
| Partition 0 |
| |
| |
| Topic 2 |
| Partition 1 |
+-------------------+
经纪人 2:
+-------------------+
| Topic 1 |
| Partition 2 |
| |
| |
| Topic 2 |
| Partition 0 |
+-------------------+
经纪人 3:
+-------------------+
| Topic 1 |
| Partition 1 |
| |
| |
| |
| |
+-------------------+
请注意，数据是分布式的（并且 Broker 3 不包含 topic 2 的任何数据）。
主题，应该有一个 replication-factor > 1（通常是 2 或 3），这样当一个 broker 宕机时，另一个可以提供主题的数据。例如，假设我们有一个包含 2 个分区的主题，其中 replication-factor 设置为 2，如下所示：
经纪人 1:
+-------------------+
| Topic 1 |
| Partition 0 |
| |
| |
| |
| |
+-------------------+
经纪人 2:
+-------------------+
| Topic 1 |
| Partition 0 |
| |
| |
| Topic 1 |
| Partition 0 |
+-------------------+
经纪人 3:
+-------------------+
| Topic 1 |
| Partition 1 |
| |
| |
| |
| |
+-------------------+
现在假设 Broker 2 失败了。 代理 1 和 3 仍然可以为主题 1 提供数据。因此 replication-factor 3 始终是一个好主意，因为它允许为了维护目的而关闭一个代理还有另一个意外被取消。 因此，Apache-Kafka 提供了强大的持久性和容错保证。
关于领导者的注意事项：
在任何时候，只有一个 broker 可以成为分区的领导者，并且只有该领导者才能接收和提供该分区的数据。其余代理将只同步数据（同步副本）。另请注意，当 replication-factor 设置为 1 时，当代理失败时，leader 无法移动到其他地方。一般情况下，当一个分区的所有副本都失效或下线时，leader会自动设置为-1。
我正在使用 kafka 作为微服务架构的消息总线，因此多个服务在一个主题上监听一条消息。因此，服务高度依赖于话题的直播。
但是，在很多情况下，我在主题上得到 leader not available、broker not available 和 leader= - 1。
现在，我不确定我是否可以依赖 kafka 主题，因为当平台中的主题出现问题时服务会中断。
有人可以阐明主题的可靠性和可靠性吗？如果我们可以解决上述问题，我们可以恢复吗？
我将通过解释 Kafka 的一般工作原理以及它如何处理故障来回答您的问题。
每个主题，都是一个特定的数据流（类似于数据库中的table）。主题被分成 partitions（任意多个），其中分区中的每条消息都有一个增量 ID，称为偏移量，如下所示。
分区 0:
+---+---+---+-----+
| 0 | 1 | 2 | ... |
+---+---+---+-----+
分区 1:
+---+---+---+---+----+
| 0 | 1 | 2 | 3 | .. |
+---+---+---+---+----+
现在一个Kafka集群是由多个broker组成的。每个代理都用一个 ID 标识，并且可以包含特定的主题分区。
2 个主题的示例（每个主题分别有 3 个和 2 个分区）：
经纪人 1:
+-------------------+
| Topic 1 |
| Partition 0 |
| |
| |
| Topic 2 |
| Partition 1 |
+-------------------+
经纪人 2:
+-------------------+
| Topic 1 |
| Partition 2 |
| |
| |
| Topic 2 |
| Partition 0 |
+-------------------+
经纪人 3:
+-------------------+
| Topic 1 |
| Partition 1 |
| |
| |
| |
| |
+-------------------+
请注意，数据是分布式的（并且 Broker 3 不包含 topic 2 的任何数据）。
主题，应该有一个 replication-factor > 1（通常是 2 或 3），这样当一个 broker 宕机时，另一个可以提供主题的数据。例如，假设我们有一个包含 2 个分区的主题，其中 replication-factor 设置为 2，如下所示：
经纪人 1:
+-------------------+
| Topic 1 |
| Partition 0 |
| |
| |
| |
| |
+-------------------+
经纪人 2:
+-------------------+
| Topic 1 |
| Partition 0 |
| |
| |
| Topic 1 |
| Partition 0 |
+-------------------+
经纪人 3:
+-------------------+
| Topic 1 |
| Partition 1 |
| |
| |
| |
| |
+-------------------+
现在假设 Broker 2 失败了。 代理 1 和 3 仍然可以为主题 1 提供数据。因此 replication-factor 3 始终是一个好主意，因为它允许为了维护目的而关闭一个代理还有另一个意外被取消。 因此，Apache-Kafka 提供了强大的持久性和容错保证。
关于领导者的注意事项：
在任何时候，只有一个 broker 可以成为分区的领导者，并且只有该领导者才能接收和提供该分区的数据。其余代理将只同步数据（同步副本）。另请注意，当 replication-factor 设置为 1 时，当代理失败时，leader 无法移动到其他地方。一般情况下，当一个分区的所有副本都失效或下线时，leader会自动设置为-1。