在外部硬盘上运行python脚本(训练神经网络)

在外部硬盘上运行python脚本(训练神经网络),python,neural-network,Python,Neural Network,我有一个数据集太大,无法在本地存储,我想训练一个神经网络 哪个更快?或者它们是一样的 1) 所有文件都存储在外部硬盘上。python文件在加载数据并训练网络的硬盘驱动器目录中运行 2) Python文件保存在本地,在培训期间加载数据集是通过将数据集指向外部硬盘驱动器上的数据集来完成的 我假设在这两种情况下,数据集的执行速度和加载速度是相等的,但我不确定它是否取决于硬盘驱动器和外部硬盘驱动器的读取速度 你的硬盘是SSD吗?如果是的话,它肯定会比你的外置硬盘快很多 如果硬盘和外部设备的读取速度相同或

我有一个数据集太大,无法在本地存储,我想训练一个神经网络

哪个更快?或者它们是一样的

1) 所有文件都存储在外部硬盘上。python文件在加载数据并训练网络的硬盘驱动器目录中运行

2) Python文件保存在本地,在培训期间加载数据集是通过将数据集指向外部硬盘驱动器上的数据集来完成的


我假设在这两种情况下,数据集的执行速度和加载速度是相等的,但我不确定它是否取决于硬盘驱动器和外部硬盘驱动器的读取速度

你的硬盘是SSD吗?如果是的话,它肯定会比你的外置硬盘快很多

如果硬盘和外部设备的读取速度相同或相似,则数据集存储在何处并不重要

1) python文件将被“加载”到RAM中并执行。因此,您的内部硬盘不起主要作用


2) 同样,如果您的外部硬盘和内部硬盘具有相似的读取速度,那么这并不重要。

除非您的脚本大小为GB,否则它的位置根本不重要。它只加载一次,然后驻留在内存中,而不是磁盘上。加载数据是一个单独的操作,不受脚本位置的影响。