从同一应用程序的任务（映射函数）中创建 spark 任务
Creating spark tasks from within tasks (map functions) on the same application
是否可以从 pyspark 中的映射器函数（即任务）进行映射？
换句话说，是否可以从任务中打开"sub tasks"？
如果是这样 - 我如何将 sparkContext 传递给任务 - 就像一个变量一样？
我想要一个由许多任务组成的作业 - 这些任务中的每一个都应该创建许多任务，而不需要返回给驱动程序。
我的用例是这样的：
我正在将使用工作队列编写的应用程序代码移植到 pyspark。
在我的旧应用程序中，任务创建了其他任务——我们使用了这个功能。我不想因为转向 spark 而重新设计整个代码（特别是因为我必须确保两个平台都在系统之间的过渡阶段工作）...
Is it possible to open "sub tasks" from a task?
没有，至少不健康*.
A task 是驱动程序发送的命令，Spark 有一个 one 驱动程序（中央协调器）与许多分布式工作者（执行者）进行通信。
因此，你在这里的要求，意味着每一个任务都可以扮演一个子驱动程序的角色。就算是工人，也会像任务一样相信我的回答
卓越资源：
- What is a task in Spark? How does the Spark worker execute the jar file?
*话虽如此，我的意思是我不知道有任何黑客或其他东西，如果存在的话就太具体了。
是否可以从 pyspark 中的映射器函数（即任务）进行映射？ 换句话说，是否可以从任务中打开"sub tasks"？ 如果是这样 - 我如何将 sparkContext 传递给任务 - 就像一个变量一样？
我想要一个由许多任务组成的作业 - 这些任务中的每一个都应该创建许多任务，而不需要返回给驱动程序。
我的用例是这样的： 我正在将使用工作队列编写的应用程序代码移植到 pyspark。 在我的旧应用程序中，任务创建了其他任务——我们使用了这个功能。我不想因为转向 spark 而重新设计整个代码（特别是因为我必须确保两个平台都在系统之间的过渡阶段工作）...
Is it possible to open "sub tasks" from a task?
没有，至少不健康*.
A task 是驱动程序发送的命令，Spark 有一个 one 驱动程序（中央协调器）与许多分布式工作者（执行者）进行通信。
因此，你在这里的要求，意味着每一个任务都可以扮演一个子驱动程序的角色。就算是工人，也会像任务一样相信我的回答
卓越资源：
- What is a task in Spark? How does the Spark worker execute the jar file?
*话虽如此，我的意思是我不知道有任何黑客或其他东西，如果存在的话就太具体了。