Google 云在 VM 之间共享数据
Google cloud share data between VM's
我希望在 Google 带有 GPU 的计算引擎上创建虚拟机以执行某些任务。
现在的问题是要从我的本地网络上传到 VM 的数据很大，而且我的网络速度慢且不可靠，严重限制了我。我知道使用 SCP 在 unix 机器之间进行文件传输，但即使那样也需要数小时才能完成，这意味着我的 GPU 在线（最昂贵的组件）将闲置，我将无需支付任何费用。
我曾想过先将文件传输到虚拟机，然后再添加 GPU，但在这种情况下我无法编辑虚拟机来添加 GPU。
因此，我需要两个可能的解决方案的帮助。
我可以将永久磁盘添加到一个 VM、传输数据、生成一个新 VM 并将磁盘转移到新 VM 吗？如果是那么怎么办？
或
是否可以编辑现有 VM 以添加 GPU 实例post它正在创建？如果是那么怎么办？
我们将不胜感激任何形式的帮助。谢谢！
这些是一些建议：
将您的数据上传到 Google Cloud Storage bucket and then pull data from there to the VM when needed (this will be relatively fast compared to copying data from your local machine into the VM). GCS also provides a FUSE tool 以将 GCS 存储桶装载到您的 VM 上，然后能够根据需要 read/write 数据。 GCS 存储桶是此列表中最灵活的选项。
您可以创建一个永久磁盘，将数据一次性上传到其中。然后在需要时根据需要将其附加到基于 GPU 的 VM。您可以让多个 VM 在只读模式下同时连接同一个磁盘。
您可以为永久性磁盘创建快照，并在需要时将快照恢复到新的永久性磁盘。这对于备份比您的主要用例更有用。
考虑分块 and/or 分片您的数据，以便当您在 GPU 上并行处理 运行 工作负载时，您可以通过管道从远程服务器（如 GCS）拉取数据.
如果它是批处理工作负载并且完成时间少于 24 小时，听起来，您应该使用 preemptible 台机器来大幅降低成本。
技术细节在这里：
也许只有少数 highcpu 最新的 Intel Skylake CPU 一代适合您？我不认为你可以抢占 GPU 台机器。
我的 2 美分。
我希望在 Google 带有 GPU 的计算引擎上创建虚拟机以执行某些任务。
现在的问题是要从我的本地网络上传到 VM 的数据很大，而且我的网络速度慢且不可靠，严重限制了我。我知道使用 SCP 在 unix 机器之间进行文件传输，但即使那样也需要数小时才能完成，这意味着我的 GPU 在线（最昂贵的组件）将闲置，我将无需支付任何费用。
我曾想过先将文件传输到虚拟机，然后再添加 GPU，但在这种情况下我无法编辑虚拟机来添加 GPU。
因此，我需要两个可能的解决方案的帮助。
我可以将永久磁盘添加到一个 VM、传输数据、生成一个新 VM 并将磁盘转移到新 VM 吗？如果是那么怎么办？
或
是否可以编辑现有 VM 以添加 GPU 实例post它正在创建？如果是那么怎么办？
我们将不胜感激任何形式的帮助。谢谢！
这些是一些建议：
将您的数据上传到 Google Cloud Storage bucket and then pull data from there to the VM when needed (this will be relatively fast compared to copying data from your local machine into the VM). GCS also provides a FUSE tool 以将 GCS 存储桶装载到您的 VM 上，然后能够根据需要 read/write 数据。 GCS 存储桶是此列表中最灵活的选项。
您可以创建一个永久磁盘，将数据一次性上传到其中。然后在需要时根据需要将其附加到基于 GPU 的 VM。您可以让多个 VM 在只读模式下同时连接同一个磁盘。
您可以为永久性磁盘创建快照，并在需要时将快照恢复到新的永久性磁盘。这对于备份比您的主要用例更有用。
考虑分块 and/or 分片您的数据，以便当您在 GPU 上并行处理 运行 工作负载时，您可以通过管道从远程服务器（如 GCS）拉取数据.
如果它是批处理工作负载并且完成时间少于 24 小时，听起来，您应该使用 preemptible 台机器来大幅降低成本。
技术细节在这里：
也许只有少数 highcpu 最新的 Intel Skylake CPU 一代适合您？我不认为你可以抢占 GPU 台机器。
我的 2 美分。