Google colaboratory 如何增加Google Colab存储

我正在处理70gb的数据集

早期使用

df-BG

命令

有人给我看

Filesystem     1G-blocks  Used Available Use% Mounted on

overlay             359G    6G      335G   2% /

tmpfs                 7G    0G        7G   0% /dev

tmpfs                 7G    0G        7G   0% /sys/fs/cgroup

/dev/root             2G    1G        1G  44% /opt/bin

tmpfs                 7G    1G        7G   4% /usr/lib64-nvidia

/dev/sda1           365G    8G      358G   3% /etc/hosts

shm                   1G    0G        1G   0% /dev/shm

tmpfs                 7G    0G        7G   0% /sys/firmware

突然间，它变成了

Filesystem     1G-blocks  Used Available Use% Mounted on

overlay              40G    5G       33G  14% /

tmpfs                 7G    0G        7G   0% /dev

tmpfs                 7G    0G        7G   0% /sys/fs/cgroup

/dev/sda1            46G   40G        6G  88% /etc/hosts

shm                   1G    0G        1G   0% /dev/shm

tmpfs                 7G    0G        7G   0% /sys/firmware

---

有人能提出任何可能的方法使一个超过300GB的新笔记本可用或任何可能的方法回到以前的状态

我也有同样的问题。我不确定这是否是一个解决方案，因为我还没有对它进行彻底测试，但似乎[Python 2/No GPU]和[Python 3/No GPU]运行时只有40GB的存储空间，而[Python 3/GPU]运行时有359GB的存储空间

---

通过转到“运行时”>“更改运行时类型”，尝试将笔记本运行时类型更改为[Python 3/GPU]。希望有帮助

如果您为谷歌硬盘的额外存储付费，您可以将硬盘装入/content/drive/文件夹

如下

from google.colab import drive
drive.mount('/content/drive')
> Then it will ask you for auth code

您甚至可以将其用于解压数据集 （我的情况是，我在Colab上有足够的空间下载18G Coco数据集，但没有足够的空间解压它）

使用谷歌硬盘无法工作，如果文件在谷歌硬盘上，那么由于文件太多，它将无法读取整个目录。从我所有的测试来看，我无法让它与一个包含超过15k个文件的目录一起工作。您必须有足够的空间在VM上下载数据集

更新：

我想出了如何用谷歌硬盘将整个COCO-2017数据集输入Colab。基本上，我将train2017和test2017分解为最多5000个文件的子目录（我注意到Colab只能从一个目录中读取大约15k个文件，所以5000个文件似乎是一个安全的赌注）。这是代码

然后我用rclone将整个该死的数据集上传到谷歌硬盘，任何有链接的人都可以查看

一旦你在你的谷歌硬盘上有了共享，为它创建一个快捷方式，这样它就可以被Colab访问。然后在本地目录中为train创建118287，为test符号链接创建40670。到目前为止，它像一个魅力。我甚至把我所有的输出都保存到谷歌硬盘上，这样12个小时后就可以恢复了。这是笔记本

---

我现在正在训练一个面具rcnn，完成后会报告结果，但到目前为止它看起来非常棒。

我想这一直在变化！我的GPU运行时现在只有68.4 GB，而CPU运行时只有107.77 GB（都是12.72 GB RAM）。明天读它的人可能仍然有不同的尺寸。另外，使用不同的帐户（来自大学），我得到了大约150GB的数据。但远不及359GB。我认为你现在应该去寻找另一个答案（安装谷歌硬盘）。是的，如果是COCO，你可以先得到更大的ZIP文件，解压缩并删除它，然后再进行验证。删除ZIP后，您可能仍有一些空间用于显示结果；）查看另一篇关于堆栈溢出的文章，了解在Google Colab中使用COCO的另一种方法。我希望tfds（或Google Colab）会像您个人分享的那样实现解压目录绑定。很多

!unzip /content/train2017.zip -d /content/drive/My\ Drive/COCO/train_2017