如何增加 Google Colab 存储空间
How to increase Google Colab storage
我正在处理 70gb 的数据集
之前使用 df -BG 命令
我被展示了
Filesystem 1G-blocks Used Available Use% Mounted on
overlay 359G 6G 335G 2% /
tmpfs 7G 0G 7G 0% /dev
tmpfs 7G 0G 7G 0% /sys/fs/cgroup
/dev/root 2G 1G 1G 44% /opt/bin
tmpfs 7G 1G 7G 4% /usr/lib64-nvidia
/dev/sda1 365G 8G 358G 3% /etc/hosts
shm 1G 0G 1G 0% /dev/shm
tmpfs 7G 0G 7G 0% /sys/firmware
突然现在变成了
Filesystem 1G-blocks Used Available Use% Mounted on
overlay 40G 5G 33G 14% /
tmpfs 7G 0G 7G 0% /dev
tmpfs 7G 0G 7G 0% /sys/fs/cgroup
/dev/sda1 46G 40G 6G 88% /etc/hosts
shm 1G 0G 1G 0% /dev/shm
tmpfs 7G 0G 7G 0% /sys/firmware
有人可以建议任何可能的方法来制作一个可用容量超过 300Gbs 的新笔记本，或者任何可能的方法来返回到以前的状态。
我遇到了同样的问题。我不确定这是一个解决方案，因为我还没有对其进行彻底测试，但似乎 [Python 2 / 无 GPU] 和 [Python 3 / 无 GPU] 运行时只有 40GB存储空间，而 [Python 3 / GPU] 运行时有 359GB 的存储空间。
转至 "Runtime" > "Change runtime type"，尝试将笔记本运行时类型更改为 [Python 3 / GPU]。希望对您有所帮助！
如果您为 google 驱动器中的额外存储付费，您可以将驱动器装入 /content/drive/ 文件夹
如下
from google.colab import drive
drive.mount('/content/drive')
> Then it will ask you for auth code
您甚至可以用它来解压缩数据集
（我的情况是我在 Colab 上有足够的 space 下载 18G 的 Coco 数据集但没有足够的 space 来解压缩它）
!unzip /content/train2017.zip -d /content/drive/My\ Drive/COCO/train_2017
使用 google 驱动器将无法工作 ，如果文件在 google 驱动器上，则由于太多而无法读取整个目录文件。从我所有的测试来看，我无法让它与其中包含超过 15k 文件的目录一起工作。 您必须有足够的 space 才能在 VM 上下载数据集。
更新：
我想出了如何使用 Google Drive 将整个 COCO-2017 数据集导入 Colab。基本上我将 train2017 和 test2017 分解为最多包含 5000 个文件的子目录（我注意到 Colab 只能从一个目录中读取大约 15k 个文件，所以 5000 似乎是一个安全的选择）。 Here 是它的代码。
然后我使用 rclone 将整个该死的数据集上传到 Google 驱动器，并且 shared 任何拥有 link 的人都可以查看。
在 google 驱动器中获得共享后，为其创建一个快捷方式，以便 Colab 可以访问它。然后我在本地目录中为火车创建 118287，为测试符号 links 创建 40670。到目前为止，它就像一个魅力。我什至将所有输出保存到 Google 驱动器，以便在 12 小时后可以恢复。 Here 是那个笔记本。
我现在正在训练一个 mask rcnn，完成后会报告结果，但到目前为止看起来非常好。
我正在处理 70gb 的数据集
之前使用 df -BG 命令
我被展示了
Filesystem 1G-blocks Used Available Use% Mounted on
overlay 359G 6G 335G 2% /
tmpfs 7G 0G 7G 0% /dev
tmpfs 7G 0G 7G 0% /sys/fs/cgroup
/dev/root 2G 1G 1G 44% /opt/bin
tmpfs 7G 1G 7G 4% /usr/lib64-nvidia
/dev/sda1 365G 8G 358G 3% /etc/hosts
shm 1G 0G 1G 0% /dev/shm
tmpfs 7G 0G 7G 0% /sys/firmware
突然现在变成了
Filesystem 1G-blocks Used Available Use% Mounted on
overlay 40G 5G 33G 14% /
tmpfs 7G 0G 7G 0% /dev
tmpfs 7G 0G 7G 0% /sys/fs/cgroup
/dev/sda1 46G 40G 6G 88% /etc/hosts
shm 1G 0G 1G 0% /dev/shm
tmpfs 7G 0G 7G 0% /sys/firmware
有人可以建议任何可能的方法来制作一个可用容量超过 300Gbs 的新笔记本，或者任何可能的方法来返回到以前的状态。
我遇到了同样的问题。我不确定这是一个解决方案，因为我还没有对其进行彻底测试，但似乎 [Python 2 / 无 GPU] 和 [Python 3 / 无 GPU] 运行时只有 40GB存储空间，而 [Python 3 / GPU] 运行时有 359GB 的存储空间。
转至 "Runtime" > "Change runtime type"，尝试将笔记本运行时类型更改为 [Python 3 / GPU]。希望对您有所帮助！
如果您为 google 驱动器中的额外存储付费，您可以将驱动器装入 /content/drive/ 文件夹
如下
from google.colab import drive
drive.mount('/content/drive')
> Then it will ask you for auth code
您甚至可以用它来解压缩数据集 （我的情况是我在 Colab 上有足够的 space 下载 18G 的 Coco 数据集但没有足够的 space 来解压缩它）
!unzip /content/train2017.zip -d /content/drive/My\ Drive/COCO/train_2017
使用 google 驱动器将无法工作 ，如果文件在 google 驱动器上，则由于太多而无法读取整个目录文件。从我所有的测试来看，我无法让它与其中包含超过 15k 文件的目录一起工作。 您必须有足够的 space 才能在 VM 上下载数据集。
更新：
我想出了如何使用 Google Drive 将整个 COCO-2017 数据集导入 Colab。基本上我将 train2017 和 test2017 分解为最多包含 5000 个文件的子目录（我注意到 Colab 只能从一个目录中读取大约 15k 个文件，所以 5000 似乎是一个安全的选择）。 Here 是它的代码。
然后我使用 rclone 将整个该死的数据集上传到 Google 驱动器，并且 shared 任何拥有 link 的人都可以查看。
在 google 驱动器中获得共享后，为其创建一个快捷方式，以便 Colab 可以访问它。然后我在本地目录中为火车创建 118287，为测试符号 links 创建 40670。到目前为止，它就像一个魅力。我什至将所有输出保存到 Google 驱动器，以便在 12 小时后可以恢复。 Here 是那个笔记本。
我现在正在训练一个 mask rcnn，完成后会报告结果，但到目前为止看起来非常好。