如何 "submit" 临时 SQL 在 Flink 上传输
How to "submit" an ad-hoc SQL to Beam on Flink
我正在使用 Apache Beam 和 Flink 运行ner 以及 Java SDK。似乎将作业部署到 Flink 意味着构建一个 80 兆字节的 fat jar 并将其上传到 Flink 作业管理器。
有没有办法轻松地将轻量级 SQL 部署到 运行 Beam SQL？也许已经部署了可以 soemhow 获取和 运行 即席查询的作业？
如果我理解你的问题，我认为目前不可能。现在 Beam SDK 将始终构建一个 fat jar 来实现管道并包含所有管道依赖项，并且它将无法接受轻量级的临时查询。
如果您总体上对更多的交互体验感兴趣，您可以看看为使 Beam 更具交互性所做的持续努力，例如：
SQL shell: https://s.apache.org/beam-sql-packaging 。这描述了一个正在进行中的 Beam SQL shell，它应该允许您在 REPL 环境中在本地快速执行小型 SQL 查询，以便您可以交互式地探索您的数据，并且在提交 long-运行 作业之前设计管道。不过，这不会改变将作业提交给 Flink（或任何其他运行器）的方式。因此，在您提交长 运行 作业后，您可能仍然需要使用目前必须控制它的常规作业管理工具。
Python：https://s.apache.org/interactive-beam。描述了将现有运行器包装到交互式包装器中的方法。
我正在使用 Apache Beam 和 Flink 运行ner 以及 Java SDK。似乎将作业部署到 Flink 意味着构建一个 80 兆字节的 fat jar 并将其上传到 Flink 作业管理器。 有没有办法轻松地将轻量级 SQL 部署到 运行 Beam SQL？也许已经部署了可以 soemhow 获取和 运行 即席查询的作业？
如果我理解你的问题，我认为目前不可能。现在 Beam SDK 将始终构建一个 fat jar 来实现管道并包含所有管道依赖项，并且它将无法接受轻量级的临时查询。
如果您总体上对更多的交互体验感兴趣，您可以看看为使 Beam 更具交互性所做的持续努力，例如：
SQL shell: https://s.apache.org/beam-sql-packaging 。这描述了一个正在进行中的 Beam SQL shell，它应该允许您在 REPL 环境中在本地快速执行小型 SQL 查询，以便您可以交互式地探索您的数据，并且在提交 long-运行 作业之前设计管道。不过，这不会改变将作业提交给 Flink（或任何其他运行器）的方式。因此，在您提交长 运行 作业后，您可能仍然需要使用目前必须控制它的常规作业管理工具。
Python：https://s.apache.org/interactive-beam。描述了将现有运行器包装到交互式包装器中的方法。