kafkastreams - 增加更多的处理能力
kafkastreams - adding more processing capacity
我正在研究 POC，将现有的 Flink 应用程序/拓扑转换为使用 KafkaStreams。我的问题是关于部署。
具体来说 - 在 Flink 中，将 "Worker Nodes" 添加到 flink 安装，然后向拓扑添加更多并行化以跟上不断增长的数据速率。
随着数据速率的增加，如何增加 KStreams 的容量？ KStreams 会自动处理吗？我是否启动更多进程（ala 微服务）？
还是我错过了大局？
Do I launch more processes (ala Micro-services)?
简短的回答是：
- 答案 1（增加容量）：要横向扩展，您只需启动流处理应用程序的另一个实例，例如在另一台机器上。您的应用程序实例将相互了解并自动开始共享处理工作。这可以在实时操作中完成，并且不会丢失数据！
- 答案 2（删除容量）：只需停止一个或多个 运行 流处理应用程序实例，例如关闭 4 个 运行 个实例中的 2 个。您的应用程序的其余实例将意识到其他实例已停止并自动接管已停止实例的处理工作。这可以在实时操作中完成，并且不会丢失数据！
有关详细信息，请参阅 http://docs.confluent.io/3.0.0/streams/developer-guide.html#elastic-scaling-of-your-application 上的 Kafka Streams 文档（不幸的是，Kafka Streams 上的 Apache Kafka 文档还没有这些详细信息）。
Or am I missing the big picture here?
大图就是图片其实很好看也很小。 :-)
所以让我添加以下内容，因为我觉得很多用户对其他相关技术的复杂性感到困惑，然后并不真正期望您可以以更简单的方式进行流处理（包括其部署）方式，就像你可以用 Kafka Streams 做的那样：
Kafka Streams 应用程序是一个普通的、普通的旧 Java 应用程序，恰好使用 Kafka Streams 库。与现有流处理技术的一个关键区别在于，通过使用 Kafka Streams 库，您的应用程序变得可扩展、有弹性、容错等，而不需要像您这样的特殊 "processing cluster" 添加机器。 d 为 Flink、Spark、Storm 等做。Kafka Streams 部署模型更简单、更容易：只需启动或停止应用程序的其他实例（即字面上相同的代码）。这基本上适用于任何与部署相关的工具，包括但不限于 Puppet、Ansible、Docker、Mesos、YARN。您甚至可以通过 运行 java ... YourApp.
手动执行此操作
我正在研究 POC，将现有的 Flink 应用程序/拓扑转换为使用 KafkaStreams。我的问题是关于部署。
具体来说 - 在 Flink 中，将 "Worker Nodes" 添加到 flink 安装，然后向拓扑添加更多并行化以跟上不断增长的数据速率。
随着数据速率的增加，如何增加 KStreams 的容量？ KStreams 会自动处理吗？我是否启动更多进程（ala 微服务）？
还是我错过了大局？
Do I launch more processes (ala Micro-services)?
简短的回答是：
- 答案 1（增加容量）：要横向扩展，您只需启动流处理应用程序的另一个实例，例如在另一台机器上。您的应用程序实例将相互了解并自动开始共享处理工作。这可以在实时操作中完成，并且不会丢失数据！
- 答案 2（删除容量）：只需停止一个或多个 运行 流处理应用程序实例，例如关闭 4 个 运行 个实例中的 2 个。您的应用程序的其余实例将意识到其他实例已停止并自动接管已停止实例的处理工作。这可以在实时操作中完成，并且不会丢失数据！
有关详细信息，请参阅 http://docs.confluent.io/3.0.0/streams/developer-guide.html#elastic-scaling-of-your-application 上的 Kafka Streams 文档（不幸的是，Kafka Streams 上的 Apache Kafka 文档还没有这些详细信息）。
Or am I missing the big picture here?
大图就是图片其实很好看也很小。 :-)
所以让我添加以下内容，因为我觉得很多用户对其他相关技术的复杂性感到困惑，然后并不真正期望您可以以更简单的方式进行流处理（包括其部署）方式，就像你可以用 Kafka Streams 做的那样：
Kafka Streams 应用程序是一个普通的、普通的旧 Java 应用程序，恰好使用 Kafka Streams 库。与现有流处理技术的一个关键区别在于，通过使用 Kafka Streams 库，您的应用程序变得可扩展、有弹性、容错等，而不需要像您这样的特殊 "processing cluster" 添加机器。 d 为 Flink、Spark、Storm 等做。Kafka Streams 部署模型更简单、更容易：只需启动或停止应用程序的其他实例（即字面上相同的代码）。这基本上适用于任何与部署相关的工具，包括但不限于 Puppet、Ansible、Docker、Mesos、YARN。您甚至可以通过 运行 java ... YourApp.