将本地 python 脚本连接到远程 spark master

Question

我正在使用 python 2.7 和 spark 独立集群。

当我在同一台机器上启动 master 时 运行 宁 python 脚本。它工作顺利。

当我在远程机器上启动master，并尝试在本地机器上启动spark context来访问远程spark master。没有任何反应，我收到消息说该任务没有获得任何资源。

当我访问大师的UI。我看到了这份工作，但没有任何反应，它就在那里。

如何通过本地 python 脚本访问远程 spark master？

谢谢。

编辑： 我读到，为了做到这一点，我需要 运行 集群模式（不是客户端模式），我发现目前 standalone mode does not support this for python application。

想法？

Answer 1

为了做到这一点，我需要 运行 集群模式（不是客户端模式），我发现 here 当前独立模式不支持 python申请。