强制 Apache Flink 在给定点执行

Question

据我了解，Apache Flink 实际上不会 运行 您要求它执行的操作，直到某些操作需要这些操作的结果。这使得很难精确计算每个操作需要多长时间，这正是我为了将其效率与 Apache Spark 进行比较而尝试做的事情。有没有办法在我想要的时候强制它 运行 操作？

Answer 1

当运行一个Flink程序定义拓扑和要在集群上执行的操作符。通过调用 env.execute 触发作业执行，其中 env 是 ExecutionEnvironment 或 StreamExecutionEnvironment。批处理作业有一个例外，即 API 调用 collect 和 print 会触发急切执行。

您可以使用网络 ui 提取不同运算符的运行时。对于每个操作员，您会看到它何时部署以及何时完成执行。