从不同的 pod 中通过 "spark-on-k8s-operator" 提交 Spark 作业
Submit Spark job through "spark-on-k8s-operator" from inside a different pod
按照 this 指南,我在我的 Kubernetes 集群中部署了一个 "spark-on-k8s" 操作员。
在指南中,它提到了如何使用 kubectl 命令部署 Spark 应用程序。
我的问题是是否可以从不同的 pod 中而不是 kubectl 命令部署 Spark 应用程序?
比方说,来自一些数据管道应用程序,例如 Apache NiFi 或 Streamsets。
是的,您可以从另一个 pod 中创建 pod。
您只需创建一个具有适当 Role 的 ServiceAcount,这将允许创建 pods 并将其分配给pod 这样您就可以使用 rest api 或 k8s 客户端库之一来向 kubernetes api 服务器进行身份验证来创建您的 pod。
详细了解如何使用 kubernetes api
在 kubernetes 文档中。
另请阅读 here 如何创建角色。
并查看 here k8s 客户端库列表。
如果有帮助,请告诉我。
按照 this 指南,我在我的 Kubernetes 集群中部署了一个 "spark-on-k8s" 操作员。
在指南中,它提到了如何使用 kubectl 命令部署 Spark 应用程序。
我的问题是是否可以从不同的 pod 中而不是 kubectl 命令部署 Spark 应用程序? 比方说,来自一些数据管道应用程序,例如 Apache NiFi 或 Streamsets。
是的,您可以从另一个 pod 中创建 pod。
您只需创建一个具有适当 Role 的 ServiceAcount,这将允许创建 pods 并将其分配给pod 这样您就可以使用 rest api 或 k8s 客户端库之一来向 kubernetes api 服务器进行身份验证来创建您的 pod。
详细了解如何使用 kubernetes api 在 kubernetes 文档中。
另请阅读 here 如何创建角色。
并查看 here k8s 客户端库列表。
如果有帮助,请告诉我。