如何在分布式模式下设置我的 Kafka Connect 以获得更好的性能
How to set up my Kafka Connect in distributed mode for better perofmance
我是 运行 我的 Kafka connect for Elastic search in distributed mode。
目前我有 2 个 EC2 实例（实例类型 t2.2xlarge）
Number of vCPUs 8
Memory 32 Gb
我是 运行 kafka 连接上面的实例类型，最大任务为 2。
我计划从生产者那里投入大量资金，这些生产者将使用 Kafka connect 将记录放入 ElastciSearch。
重放意味着每秒 10000 条记录。
牢记这一点，我应该如何创建 Kafka 连接。
例如
需要多少任务来处理这个问题，以便记录可以更快地进入 ES？
2 个 EC2 实例是否足以满足此负载，还是我需要更多实例？
一个 EC2 实例创建多少个任务比较合适？
有一个更大的 EC2 更好，还是有多个 EC2 和更小的实例更好？
如何使用 Kafka connect 确认所有记录都已从 Kafka 主题发送到 ES？
我应该如何对我的 Kafka 连接性能进行基准测试？
我现在没有使用任何架构注册表。
请推荐
i have 2 EC2 instance
所以你只能运行 2个工人。添加更多（在不同的 AZ 中）以获得更好的容错能力。您需要添加 CPU 和内存监控以了解是否应该添加更多实例。
running kafka connect on above instance type with max task as 2 .
您最多可以拥有与输入主题分区一样多的任务。
10000 records per seconds
Kafka 当然可以处理。您需要分别对 ES 索引器进行基准测试。
How i can confirm that all the records are de qued from Kafka topic to ES using Kafka connect
您将监控消费者组延迟，与任何其他消费者任务一样
Having one bigger EC2 is better or having multiple EC2 with smaller instance is better
"Better" 是相对的。如果你想要性能超过成本，那么选择更大的实例并分配更多的堆 space。
我是 运行 我的 Kafka connect for Elastic search in distributed mode。 目前我有 2 个 EC2 实例（实例类型 t2.2xlarge）
Number of vCPUs 8
Memory 32 Gb
我是 运行 kafka 连接上面的实例类型，最大任务为 2。 我计划从生产者那里投入大量资金，这些生产者将使用 Kafka connect 将记录放入 ElastciSearch。
重放意味着每秒 10000 条记录。
牢记这一点，我应该如何创建 Kafka 连接。
例如
需要多少任务来处理这个问题，以便记录可以更快地进入 ES？
2 个 EC2 实例是否足以满足此负载，还是我需要更多实例？
一个 EC2 实例创建多少个任务比较合适？
有一个更大的 EC2 更好，还是有多个 EC2 和更小的实例更好？
如何使用 Kafka connect 确认所有记录都已从 Kafka 主题发送到 ES？
我应该如何对我的 Kafka 连接性能进行基准测试？
我现在没有使用任何架构注册表。
请推荐
i have 2 EC2 instance
所以你只能运行 2个工人。添加更多（在不同的 AZ 中）以获得更好的容错能力。您需要添加 CPU 和内存监控以了解是否应该添加更多实例。
running kafka connect on above instance type with max task as 2 .
您最多可以拥有与输入主题分区一样多的任务。
10000 records per seconds
Kafka 当然可以处理。您需要分别对 ES 索引器进行基准测试。
How i can confirm that all the records are de qued from Kafka topic to ES using Kafka connect
您将监控消费者组延迟，与任何其他消费者任务一样
Having one bigger EC2 is better or having multiple EC2 with smaller instance is better
"Better" 是相对的。如果你想要性能超过成本，那么选择更大的实例并分配更多的堆 space。