Kafka 2.0 - Kafka Connect Sink - 创建 Kafka 生产者
Kafka 2.0 - Kafka Connect Sink - Creating a Kafka Producer
我们目前使用的是 HDF（Hortonworks Dataflow）3.3.1，它捆绑了 Kafka 2.0.0，并尝试在分布式模式下使用 Kafka Connect 来启动 Google Cloud PubSub Sink 连接器。
我们计划将一些元数据发送回 Kafka 主题，并且需要将 Kafka 生产者集成到 Sink 任务 java 代码的 flush() 函数中。
这会对 Kafka Connect 将偏移量提交回 Kafka 的过程产生负面影响（因为我们会在刷新之前添加 运行 Kafka 生产者的开销）。
此外，当接收器或源的连接器属性中未指定服务器列表时，Kafka Connect 如何从配置中获取 Bootstrap 服务器列表？我需要使用相同的 Bootstrap 服务器列表来启动生产者。
目前我正在更改接收器连接器的配置，将 bootstrap 服务器列表添加为 属性 并在连接器的 Java 代码中对其进行解析。如果可能的话，我想使用 Kafka Connect worker 属性中的 bootstrap 服务器列表。
请帮忙解决这个问题。
提前致谢。
need to integrate a Kafka producer into the flush() function of the Sink task java code
SinkTask中没有暴露生产者实例API...
Would this have a negative impact on the process where Kafka Connect commits back the offsets to Kafka (as we would be adding a overhead of running a Kafka producer before the flush).
我的意思是，您可以添加任何您想要的代码。就负面影响而言，这取决于您对自己的基础架构进行基准测试。显然添加更多的阻塞代码会使其他进程整体变慢
how does Kafka Connect get the Bootstrap servers list from the configuration when it is not specified in the Connector Properties for either the sink or the source?
接收器和源不是工作器。看看connect-distributed.properties
I would like to use bootstrap server list from the Kafka Connect worker properties if that is possible
这不可能。向 sink/source 配置添加额外的属性是唯一的方法。 （不过，请随意制作 Kafka JIRA 来请求公开工作人员配置的功能）
我们目前使用的是 HDF（Hortonworks Dataflow）3.3.1，它捆绑了 Kafka 2.0.0，并尝试在分布式模式下使用 Kafka Connect 来启动 Google Cloud PubSub Sink 连接器。 我们计划将一些元数据发送回 Kafka 主题，并且需要将 Kafka 生产者集成到 Sink 任务 java 代码的 flush() 函数中。
这会对 Kafka Connect 将偏移量提交回 Kafka 的过程产生负面影响（因为我们会在刷新之前添加 运行 Kafka 生产者的开销）。
此外，当接收器或源的连接器属性中未指定服务器列表时，Kafka Connect 如何从配置中获取 Bootstrap 服务器列表？我需要使用相同的 Bootstrap 服务器列表来启动生产者。 目前我正在更改接收器连接器的配置，将 bootstrap 服务器列表添加为 属性 并在连接器的 Java 代码中对其进行解析。如果可能的话，我想使用 Kafka Connect worker 属性中的 bootstrap 服务器列表。
请帮忙解决这个问题。
提前致谢。
need to integrate a Kafka producer into the flush() function of the Sink task java code
SinkTask中没有暴露生产者实例API...
Would this have a negative impact on the process where Kafka Connect commits back the offsets to Kafka (as we would be adding a overhead of running a Kafka producer before the flush).
我的意思是，您可以添加任何您想要的代码。就负面影响而言，这取决于您对自己的基础架构进行基准测试。显然添加更多的阻塞代码会使其他进程整体变慢
how does Kafka Connect get the Bootstrap servers list from the configuration when it is not specified in the Connector Properties for either the sink or the source?
接收器和源不是工作器。看看connect-distributed.properties
I would like to use bootstrap server list from the Kafka Connect worker properties if that is possible
这不可能。向 sink/source 配置添加额外的属性是唯一的方法。 （不过，请随意制作 Kafka JIRA 来请求公开工作人员配置的功能）