Google Colab:关于 VM 上文件的生命周期
Google Colab: about lifetime of files on VM
有没有人知道colab虚拟机上文件的生命周期?
例如,在 colab notebook 中,我将数据保存到 csv 文件中:
data.to_csv('data.csv')
那data.csv还能存在多久?
场景是这样的:
我想每天维护和更新 3000 多个小数据集,但是使用 pydrive 的 colab 和 google 驱动器之间的交互似乎很慢(因为我需要每天检查每个数据集),所以如果文件的生命周期在虚拟机上足够长,我可以每天更新虚拟机上的文件(这样会快得多)然后将它们同步到 google 驱动器几天而不是每天。
VM 在一段时间不活动后会被丢弃,因此最好的办法是将文件保存到云端硬盘,您希望保留生成的文件。
使用pydrive
,这是可能的,但有点麻烦。一种更简单的方法是使用 Drive 的 FUSE 接口,这样您就可以在正常保存文件时自动同步文件。
有关示例,请参见:
https://colab.research.google.com/drive/1srw_HFWQ2SMgmWIawucXfusGzrj1_U0q
有没有人知道colab虚拟机上文件的生命周期? 例如,在 colab notebook 中,我将数据保存到 csv 文件中:
data.to_csv('data.csv')
那data.csv还能存在多久?
场景是这样的: 我想每天维护和更新 3000 多个小数据集,但是使用 pydrive 的 colab 和 google 驱动器之间的交互似乎很慢(因为我需要每天检查每个数据集),所以如果文件的生命周期在虚拟机上足够长,我可以每天更新虚拟机上的文件(这样会快得多)然后将它们同步到 google 驱动器几天而不是每天。
VM 在一段时间不活动后会被丢弃,因此最好的办法是将文件保存到云端硬盘,您希望保留生成的文件。
使用pydrive
,这是可能的,但有点麻烦。一种更简单的方法是使用 Drive 的 FUSE 接口,这样您就可以在正常保存文件时自动同步文件。
有关示例,请参见: https://colab.research.google.com/drive/1srw_HFWQ2SMgmWIawucXfusGzrj1_U0q