花了很长时间将pandas数据帧从google colab会话保存到我的google驱动器

花了很长时间将pandas数据帧从google colab会话保存到我的google驱动器,pandas,google-drive-api,google-colaboratory,feather,Pandas,Google Drive Api,Google Colaboratory,Feather,我将我的谷歌硬盘安装在我的colab笔记本中,我有一个相当大的熊猫数据框,并尝试将mydf.to_featherpath安装在我的谷歌硬盘中。它预计是100毫克大,这是永远 这是意料之中的事吗?看来colab和google drive之间的网络连接不是很好。有人知道服务器是否在同一个区域/区域吗 我可能需要更改我的工作流程以避免此问题。如果您有任何最佳实践或建议,请让我知道,除了全部GCP之外,我希望没有这种延迟 如果您发现从google colab在您的gdrive上的某个地方调用df.to_

我将我的谷歌硬盘安装在我的colab笔记本中,我有一个相当大的熊猫数据框,并尝试将mydf.to_featherpath安装在我的谷歌硬盘中。它预计是100毫克大,这是永远

这是意料之中的事吗?看来colab和google drive之间的网络连接不是很好。有人知道服务器是否在同一个区域/区域吗


我可能需要更改我的工作流程以避免此问题。如果您有任何最佳实践或建议,请让我知道,除了全部GCP之外,我希望没有这种延迟

如果您发现从google colab在您的gdrive上的某个地方调用df.to_features,并且它的大小约为X00mb,您可能会发现零星的性能。保存一个文件可能需要几分钟到一个小时。我无法解释这种行为


解决方法:首先保存到/content/,colab主机的本地目录。然后将文件从/content复制到gdrive mount dir。对我来说,这似乎更加持续和快速。我就是解释不了为什么。直接到河上去吃这么多苦头。

这似乎很零星。我保存了另一个更大的数据框给你。。。这一次要快得多。不看你的代码,这是任何人的猜测…我在做绝对默认的事情。如果您已经看到这种情况发生在。to_feather…,您可能不需要查看我的代码来复制。我在下面发布了一个解决方法,并对发生了什么进行了猜测。我相信这种行为可能是特定于熊猫羽毛格式的。它似乎有很多写开销。保存到csv似乎没有任何问题。我没有足够的证据。但我有种预感,那就是你的羽毛。。。。不知何故,会引发大量的网络开销。因此,首先在本地保存它,然后执行常规cp可能会避免这些开销。