如何使用 prefect "mapped" 并行化嵌套循环
How to use prefect "mapped" to parallelize nested loops
我正在尝试弄清楚如何使用 prefect 并行化嵌套循环，这需要在外部扇形 out/in 中使用内部扇形 out/in。
如果我在外循环上使用 map()，然后将一些外循环计算的结果也使用 map() 传递给 unmapped() 中的内循环，这是否会创建一个内循环散开？那么我如何做一个 "partial reduce" 来在外循环中使用内循环结果？
将不胜感激。
在 Prefect Github 上链接与 OP 的对话以供后代使用：https://github.com/PrefectHQ/prefect/issues/2786
为了方便起见，我对该讨论的 tl;dr：截至撰写本文时（Prefect 版本 0.12.0），现有 map 语法不支持具有 fan-out/fan-in 的动态管道。今天的 map 语法只支持常数基数的并行管道。相反，您需要引入一个 reduce 步骤来重新配置您的输出，以便将它们提交到新地图。
我正在尝试弄清楚如何使用 prefect 并行化嵌套循环，这需要在外部扇形 out/in 中使用内部扇形 out/in。
如果我在外循环上使用 map()，然后将一些外循环计算的结果也使用 map() 传递给 unmapped() 中的内循环，这是否会创建一个内循环散开？那么我如何做一个 "partial reduce" 来在外循环中使用内循环结果？
将不胜感激。
在 Prefect Github 上链接与 OP 的对话以供后代使用：https://github.com/PrefectHQ/prefect/issues/2786
为了方便起见，我对该讨论的 tl;dr：截至撰写本文时（Prefect 版本 0.12.0），现有 map 语法不支持具有 fan-out/fan-in 的动态管道。今天的 map 语法只支持常数基数的并行管道。相反，您需要引入一个 reduce 步骤来重新配置您的输出，以便将它们提交到新地图。