flink - 无法启动作业集群
flink - unable to start job cluster
我正在尝试启动 flink 作业集群。
我已经将 HA 配置到 zookeeper,并将 job.jar 放置到类路径中。
我期待 jobmanager 从等待 taskmanagers 开始的一项工作开始。
但是当我通过 ./flink/bin/standalone-job.sh start-foreground
启动 jobmanager 时,jobmanager 会立即开始执行作业,而无需任何 taskmanager 运行。 WebUI 说:
{
errors: [
"Service temporarily unavailable due to an ongoing leader election. Please refresh."
]
}
作业是用 Apache Beam 编写的,其行为类似于使用 java -jar job.jar --runner=DirectRunner
手动启动作业
问题在于缺少参数。 Flink 只是 运行 main 方法,beam 默认使用 DirrectRunner。所以这个作业不会运行 on flink。此命令有效:./flink/bin/standalone-job.sh start-foreground --runner=org.apache.beam.runners.flink.FlinkRunner
我正在尝试启动 flink 作业集群。
我已经将 HA 配置到 zookeeper,并将 job.jar 放置到类路径中。
我期待 jobmanager 从等待 taskmanagers 开始的一项工作开始。
但是当我通过 ./flink/bin/standalone-job.sh start-foreground
启动 jobmanager 时,jobmanager 会立即开始执行作业,而无需任何 taskmanager 运行。 WebUI 说:
{
errors: [
"Service temporarily unavailable due to an ongoing leader election. Please refresh."
]
}
作业是用 Apache Beam 编写的,其行为类似于使用 java -jar job.jar --runner=DirectRunner
问题在于缺少参数。 Flink 只是 运行 main 方法,beam 默认使用 DirrectRunner。所以这个作业不会运行 on flink。此命令有效:./flink/bin/standalone-job.sh start-foreground --runner=org.apache.beam.runners.flink.FlinkRunner