Apache Beam:在实例内的所有线程之间共享资源
Apache Beam: Share resources among all threads within instance
在FoDn中我们有@Setup,它非常适合初始化交叉包资源。这也在 CPU 之间共享吗?换句话说,我们是否需要静态地进行资源管理,以便在所有 CPU 之间共享?
@Setup
针对每个 DoFn 实例调用,它对于单个线程始终是本地的。如果您想在整个过程中共享资源,您可以使用 static/global 变量手动管理。 (跨进程这样做可能需要某种文件锁定。)
在FoDn中我们有@Setup,它非常适合初始化交叉包资源。这也在 CPU 之间共享吗?换句话说,我们是否需要静态地进行资源管理,以便在所有 CPU 之间共享?
@Setup
针对每个 DoFn 实例调用,它对于单个线程始终是本地的。如果您想在整个过程中共享资源,您可以使用 static/global 变量手动管理。 (跨进程这样做可能需要某种文件锁定。)