单个 Windows 机器上的多个 Spark Worker
Multiple Spark Workers on Single Windows Machine
我正尝试在 Windows 上使用 Intellij 通过 Scala 自学 Spark。我在一台机器上做这个，我想在一台机器上启动多个工人来模拟一个集群。我读到 this page 上面写着
"The launch scripts do not currently support Windows. To run a Spark cluster on Windows, start the master and workers by hand."
不知道手工启动master和worker是什么意思。有人能帮忙吗？非常感谢任何 help/suggestions.
要手动启动 Spark Master，运行 下面的命令来自 %SPARK_HOME%\bin
spark-class org.apache.spark.deploy.master.Master
上面的命令也会像 spark://ip:port
一样打印 master URL
Master UI 可以在 localhost:8080
访问
要启动 Spark Worker，运行
spark-class org.apache.spark.deploy.worker.Worker spark://ip:port
现在如果你刷新 Master UI，你可以在 Workers 部分看到新的 worker。
重复命令将多个worker添加到同一个master。
我正尝试在 Windows 上使用 Intellij 通过 Scala 自学 Spark。我在一台机器上做这个，我想在一台机器上启动多个工人来模拟一个集群。我读到 this page 上面写着
"The launch scripts do not currently support Windows. To run a Spark cluster on Windows, start the master and workers by hand."
不知道手工启动master和worker是什么意思。有人能帮忙吗？非常感谢任何 help/suggestions.
要手动启动 Spark Master，运行 下面的命令来自 %SPARK_HOME%\bin
spark-class org.apache.spark.deploy.master.Master
上面的命令也会像 spark://ip:port
一样打印 master URL
Master UI 可以在 localhost:8080
要启动 Spark Worker，运行
spark-class org.apache.spark.deploy.worker.Worker spark://ip:port
现在如果你刷新 Master UI，你可以在 Workers 部分看到新的 worker。
重复命令将多个worker添加到同一个master。