Google Colab 变量值在 VM 回收后丢失
Google Colab variable values lost after VM recycling
我正在使用 Google Colab Jupyter notebook 进行算法训练,并且一直在努力解决一个恼人的问题。由于 Colab 在 VM 环境中 运行,如果我的会话空闲几个小时,我的所有变量都将变为未定义。我吃完午饭回来,需要一段时间才能加载的训练数据帧变得未定义,我必须再次 read_csv
来加载我的数据帧。
有谁知道如何纠正这个问题?
如果笔记本闲置一段时间,它可能会被回收:"Virtual machines are recycled when idle for a while"(参见colaboratory faq)
虚拟机也有硬限制 运行(最多约 12 小时!?)。
还可能发生的是您的笔记本 与互联网断开连接 / google colab。这可能是您网络的问题。阅读更多相关信息 or here
没有办法 "rectify" 这个,但是如果你已经处理了一些数据,你可以在进入 idle[= 之前添加一个步骤将它保存到 google 驱动器23=]状态。
- 您可以将 本地运行时 与 Google Colab 一起使用。这样做,Colab notebook 将使用您自己机器的资源,并且您不会有任何限制。更多相关信息:https://research.google.com/colaboratory/local-runtimes.html
- 在此过程中有多种方法可以保存您的数据:
- 您可以保存在笔记本的 VM 文件系统上,例如。 G。
pd.to_csv("my_data.csv")
- 您可以
import sqlite3
这是流行的 SQLite 数据库的 Python 实现。 SQLite 和其他 SQL 数据库的区别在于 DBMS 在您的应用程序内部运行,并且数据保存到该应用程序的文件系统中。信息:https://docs.python.org/2/library/sqlite3.html
- 您可以保存到 google 驱动器,通过浏览器下载到本地文件系统,上传到 GCP... 更多信息请点击此处:https://colab.research.google.com/notebooks/io.ipynb#scrollTo=eikfzi8ZT_rW
我正在使用 Google Colab Jupyter notebook 进行算法训练,并且一直在努力解决一个恼人的问题。由于 Colab 在 VM 环境中 运行,如果我的会话空闲几个小时,我的所有变量都将变为未定义。我吃完午饭回来,需要一段时间才能加载的训练数据帧变得未定义,我必须再次 read_csv
来加载我的数据帧。
有谁知道如何纠正这个问题?
如果笔记本闲置一段时间,它可能会被回收:"Virtual machines are recycled when idle for a while"(参见colaboratory faq) 虚拟机也有硬限制 运行(最多约 12 小时!?)。
还可能发生的是您的笔记本 与互联网断开连接 / google colab。这可能是您网络的问题。阅读更多相关信息
没有办法 "rectify" 这个,但是如果你已经处理了一些数据,你可以在进入 idle[= 之前添加一个步骤将它保存到 google 驱动器23=]状态。
- 您可以将 本地运行时 与 Google Colab 一起使用。这样做,Colab notebook 将使用您自己机器的资源,并且您不会有任何限制。更多相关信息:https://research.google.com/colaboratory/local-runtimes.html
- 在此过程中有多种方法可以保存您的数据:
- 您可以保存在笔记本的 VM 文件系统上,例如。 G。
pd.to_csv("my_data.csv")
- 您可以
import sqlite3
这是流行的 SQLite 数据库的 Python 实现。 SQLite 和其他 SQL 数据库的区别在于 DBMS 在您的应用程序内部运行,并且数据保存到该应用程序的文件系统中。信息:https://docs.python.org/2/library/sqlite3.html - 您可以保存到 google 驱动器,通过浏览器下载到本地文件系统,上传到 GCP... 更多信息请点击此处:https://colab.research.google.com/notebooks/io.ipynb#scrollTo=eikfzi8ZT_rW
- 您可以保存在笔记本的 VM 文件系统上,例如。 G。