在 Google 协作中使用所有可用 RAM 后,您的会话崩溃了
Your session crashed after using all available RAM in Google Collab
我有 6 个大数据 tsv 文件,我正在 Google Collab 中读入数据帧。但是,文件太大,Google Colab 无法处理。
#Crew data
downloaded = drive.CreateFile({'id':'16'})
downloaded.GetContentFile('title.crew.tsv')
df_crew = pd.read_csv('title.crew.tsv',header=None,sep='\t',dtype='unicode')
#Ratings data
downloaded = drive.CreateFile({'id':'15'})
downloaded.GetContentFile('title.ratings.tsv')
df_ratings = pd.read_csv('title.ratings.tsv',header=None,sep='\t',dtype='unicode')
#Episode data
downloaded = drive.CreateFile({'id':'14'})
downloaded.GetContentFile('title.episode.tsv')
df_episode = pd.read_csv('title.episode.tsv',header=None,sep='\t',dtype='unicode')
#Name Basics data
downloaded = drive.CreateFile({'id':'13'})
downloaded.GetContentFile('name.basics.tsv')
df_name = pd.read_csv('name.basics.tsv',header=None,sep='\t',dtype='unicode')
#Principals data
downloaded = drive.CreateFile({'id':'12'})
downloaded.GetContentFile('title.pricipals.tsv')
df_principals = pd.read_csv('title.pricipals.tsv',header=None,sep='\t',dtype='unicode')
#Title Basics data
downloaded = drive.CreateFile({'id':'11'})
downloaded.GetContentFile('title.basics.tsv')
df_title = pd.read_csv('title.basics.tsv',header=None,sep='\t',dtype='unicode')
错误:您的会话在用完所有可用 RAM 后崩溃。运行时日志是这样说的:
Google Collab 如何更好地处理 Ram?我所有的 tsv 文件加起来有 2,800 MB。请指教!
Google colab 通常提供 12 GB 的免费内存,但我们可以通过向 google 支付任何费用来增加它。
只需编写三行代码,您就可以将内存从 12GB 增加到 25GB
一个=[]
而(1):
a.append('1')
试试这个可能会有帮助。
最简单的方法是只在使用时使用数据,并将其从内存中删除。这可以通过释放垃圾收集器来强制完成(参见此处的线程 [
如果你想在 Colab 中扩展你的 RAM,曾经有一个 hack,你故意让它 运行 超出 RAM 然后它会为你提供更高的 RAM 运行time .也可以使用 Colab pro 在运行时 -> 更改运行时类型下选择此选项。每月 10 美元,Colab pro 可能是您的不错选择。
我看到了这个 hack here 但简而言之,只需在 while 循环中向数组添加一些内容,直到 RAM 耗尽。
a = []
while 1:
a.append("1")
如果有人正在使用任何神经网络模型。在没有 google 专业帐户的情况下 google-colab 中提供的 RAM 约为 12GB。由于某些神经模型的资源不足,这可能会导致会话崩溃。您可以减少一定数量的训练和测试数据集,并 re-check 模型的工作。可能效果不错。
可以打乱数据集并使用比原始数据集少的数据集。
我有 6 个大数据 tsv 文件,我正在 Google Collab 中读入数据帧。但是,文件太大,Google Colab 无法处理。
#Crew data
downloaded = drive.CreateFile({'id':'16'})
downloaded.GetContentFile('title.crew.tsv')
df_crew = pd.read_csv('title.crew.tsv',header=None,sep='\t',dtype='unicode')
#Ratings data
downloaded = drive.CreateFile({'id':'15'})
downloaded.GetContentFile('title.ratings.tsv')
df_ratings = pd.read_csv('title.ratings.tsv',header=None,sep='\t',dtype='unicode')
#Episode data
downloaded = drive.CreateFile({'id':'14'})
downloaded.GetContentFile('title.episode.tsv')
df_episode = pd.read_csv('title.episode.tsv',header=None,sep='\t',dtype='unicode')
#Name Basics data
downloaded = drive.CreateFile({'id':'13'})
downloaded.GetContentFile('name.basics.tsv')
df_name = pd.read_csv('name.basics.tsv',header=None,sep='\t',dtype='unicode')
#Principals data
downloaded = drive.CreateFile({'id':'12'})
downloaded.GetContentFile('title.pricipals.tsv')
df_principals = pd.read_csv('title.pricipals.tsv',header=None,sep='\t',dtype='unicode')
#Title Basics data
downloaded = drive.CreateFile({'id':'11'})
downloaded.GetContentFile('title.basics.tsv')
df_title = pd.read_csv('title.basics.tsv',header=None,sep='\t',dtype='unicode')
错误:您的会话在用完所有可用 RAM 后崩溃。运行时日志是这样说的:
Google Collab 如何更好地处理 Ram?我所有的 tsv 文件加起来有 2,800 MB。请指教!
Google colab 通常提供 12 GB 的免费内存,但我们可以通过向 google 支付任何费用来增加它。
只需编写三行代码,您就可以将内存从 12GB 增加到 25GB
一个=[] 而(1): a.append('1')
试试这个可能会有帮助。
最简单的方法是只在使用时使用数据,并将其从内存中删除。这可以通过释放垃圾收集器来强制完成(参见此处的线程 [
如果你想在 Colab 中扩展你的 RAM,曾经有一个 hack,你故意让它 运行 超出 RAM 然后它会为你提供更高的 RAM 运行time .也可以使用 Colab pro 在运行时 -> 更改运行时类型下选择此选项。每月 10 美元,Colab pro 可能是您的不错选择。
我看到了这个 hack here 但简而言之,只需在 while 循环中向数组添加一些内容,直到 RAM 耗尽。
a = []
while 1:
a.append("1")
如果有人正在使用任何神经网络模型。在没有 google 专业帐户的情况下 google-colab 中提供的 RAM 约为 12GB。由于某些神经模型的资源不足,这可能会导致会话崩溃。您可以减少一定数量的训练和测试数据集,并 re-check 模型的工作。可能效果不错。
可以打乱数据集并使用比原始数据集少的数据集。