Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 如何让我的datalab机器学习运行得更快_Google Cloud Platform_Google Cloud Datalab - Fatal编程技术网

Google cloud platform 如何让我的datalab机器学习运行得更快

Google cloud platform 如何让我的datalab机器学习运行得更快,google-cloud-platform,google-cloud-datalab,Google Cloud Platform,Google Cloud Datalab,我得到了一些数据,一个csv文件中有320万个条目。我试图在tensorflow中使用CNN估计器来训练模型,但速度非常慢。每次我运行脚本时,它都会卡住,就像网页(localhost)不再响应一样。有什么建议吗?(我试过使用22个CPU,但无法再增加) 我可以运行它并使用一个线程,比如命令行pythonxxx.py&来保持进程继续吗?一段时间后再回去检查?我很抱歉回答,尽管我完全不知道datalab是什么,但您是否尝试过批处理 我不知道在这种情况下是否可能,但一次插入可能只有10000个条目,并

我得到了一些数据,一个csv文件中有320万个条目。我试图在tensorflow中使用CNN估计器来训练模型,但速度非常慢。每次我运行脚本时,它都会卡住,就像网页(localhost)不再响应一样。有什么建议吗?(我试过使用22个CPU,但无法再增加)


我可以运行它并使用一个线程,比如命令行pythonxxx.py&来保持进程继续吗?一段时间后再回去检查?

我很抱歉回答,尽管我完全不知道datalab是什么,但您是否尝试过批处理


我不知道在这种情况下是否可能,但一次插入可能只有10000个条目,并且分很多批执行,最终所有条目都被输入?

正是出于这个原因,谷歌提供了TensorFlow的无服务器机器学习。它被称为。您的工作流程基本上如下所示:

  • 开发一个程序,在一个小数据集上训练你的神经网络,这个数据集可以存储在内存中(消除错误,确保它按照你想要的方式工作)

  • 将您的完整数据集上载到云(谷歌云存储或BigQuery或&c)()

  • 向ML Cloud提交包含您的培训计划的包(这将指向您的完整数据集在云中的位置)()

  • 在云端开始培训工作;这是无服务器的,因此它可以根据需要扩展到尽可能多的机器,而无需设置集群&c。()

  • 您可以使用此工作流在海量数据集上训练神经网络-对于图像识别特别有用

    如果这是一个有点太多的信息,或者如果这是一个工作流程的一部分,你会做很多,你想得到一个更强大的处理,Coursera提供了一个课程。(我接受了,对Coursera上谷歌云服务的质量印象深刻。)