Google colaboratory Google.colab中的77Giga数据加载

Google colaboratory Google.colab中的77Giga数据加载,google-colaboratory,pydrive,Google Colaboratory,Pydrive,我有一个tar.gz文件,其中包含77GB的数据,我正试图将其加载到我的Google.colab中。但我明白了 “我死了” 错误,然后自动重新启动。有人能帮忙吗?谷歌colab仅用于研究目的或教育目的,不用于长期培训。它有局限性,最重要的是内存。 如果您运行: !df 您会发现运行时分配的内存约为45-50GB(确切地说是47GB),您正试图加载77GB,难道您不希望运行时死掉吗 如果您想使用,请尝试将数据拆分为小部分并进行训练,从g-drive中删除并重新加载数据,然后重复 有关运行时硬件

我有一个tar.gz文件,其中包含77GB的数据,我正试图将其加载到我的Google.colab中。但我明白了

“我死了”


错误,然后自动重新启动。有人能帮忙吗?

谷歌colab仅用于研究目的或教育目的,不用于长期培训。它有局限性,最重要的是内存。 如果您运行:

!df 
您会发现运行时分配的内存约为45-50GB(确切地说是47GB),您正试图加载77GB,难道您不希望运行时死掉吗

如果您想使用,请尝试将数据拆分为小部分并进行训练,从g-drive中删除并重新加载数据,然后重复

有关运行时硬件的更多信息,请参阅此答案


谷歌云数据实验室是谷歌云平台上jupyter-as-a-service的付费版本。科拉布是自由的。Colab在n1-highmem-2型虚拟机上运行,通常成本为60美元/月。这是没有200GB磁盘和GPU的。