从不同的 pod 中通过 "spark-on-k8s-operator" 提交 Spark 作业

Submit Spark job through "spark-on-k8s-operator" from inside a different pod

按照 this 指南,我在我的 Kubernetes 集群中部署了一个 "spark-on-k8s" 操作员。

在指南中,它提到了如何使用 kubectl 命令部署 Spark 应用程序。

我的问题是是否可以从不同的 pod 中而不是 kubectl 命令部署 Spark 应用程序? 比方说,来自一些数据管道应用程序,例如 Apache NiFi 或 Streamsets。

是的,您可以从另一个 pod 中创建 pod。

您只需创建一个具有适当 RoleServiceAcount,这将允许创建 pods 并将其分配给pod 这样您就可以使用 rest api 或 k8s 客户端库之一来向 kubernetes api 服务器进行身份验证来创建您的 pod。

详细了解如何使用 kubernetes api 在 kubernetes 文档中。

另请阅读 here 如何创建角色。

并查看 here k8s 客户端库列表。

如果有帮助,请告诉我。