Kafka 连接 HDFS Sink 连接器错误

Question

我正在使用带有 Kafka connect 的 Kafka 1.1 版本，我遇到了一个我不明白的错误。如果我这样设置，我将无法连接到 HDFS:

hdfs.url": "/user/myuser/mydirectory"

或类似的（注意没有端口）：

hdfs.url": "hdfs://hostname/user/myuser/mydirectory"

我有这个错误：

state: "FAILED",
trace: "java.lang.NullPointerException 
   at io.confluent.connect.hdfs.HdfsSinkTask.close(HdfsSinkTask.java:135) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.commitOffsets(WorkerSinkTask.java:377) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.closePartitions(WorkerSinkTask.java:576) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:177) 
   at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:170) 
   at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:214) 
   at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
   at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
   at java.lang.Thread.run(Thread.java:748)

正常吗？我错过了文档中的某些内容吗？请问你能帮帮我吗？我找不到任何答案，也没有解决方案来冷漠地调用我的名称节点。

Answer 1

解决方案是我的配置中缺少 "hadoop.conf.dir"。

我不得不添加它，因为我在高可用性模式下使用 HDFS。

Kafka 连接 HDFS Sink 连接器错误

Kafka connect with HDFS Sink connector error

hadoop

hdfs

apache-kafka

apache-kafka-connect

confluent-platform