Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 谷歌云平台AI笔记本-如何确保使用GPU?_Python_Google Cloud Platform_Scikit Learn_Gpu_Random Forest - Fatal编程技术网

Python 谷歌云平台AI笔记本-如何确保使用GPU?

Python 谷歌云平台AI笔记本-如何确保使用GPU?,python,google-cloud-platform,scikit-learn,gpu,random-forest,Python,Google Cloud Platform,Scikit Learn,Gpu,Random Forest,我正在使用GCP上的Jupyter(通过AI平台轻松设置)从scikit garden培训MondrianForestRegressor。我的数据集大约为450000 x 300,使用原样机器进行培训,即使使用并行n_jobs=-1(32个CPU,208GB RAM)也比我希望的慢得多 我连接了一个GPU(2x NVIDIA Tesla T4),重新启动实例并重试。训练速度似乎不受这种变化的影响 在Jupyter中训练模型时,我需要做些什么来确保GPU被实际使用 GPU对基于树的方法有用吗?有

我正在使用GCP上的Jupyter(通过AI平台轻松设置)从
scikit garden
培训
MondrianForestRegressor
。我的数据集大约为450000 x 300,使用原样机器进行培训,即使使用并行
n_jobs=-1
(32个CPU,208GB RAM)也比我希望的慢得多

我连接了一个GPU(2x NVIDIA Tesla T4),重新启动实例并重试。训练速度似乎不受这种变化的影响

  • 在Jupyter中训练模型时,我需要做些什么来确保GPU被实际使用
  • GPU对基于树的方法有用吗?有文献表明它们是(),但我不完全理解GPU更适合不同类型算法的复杂性,除了它们能够很好地处理大型矩阵计算(例如用于深度学习)这一事实之外

创建笔记本电脑时,笔记本电脑会分配一个GCE虚拟机实例和一个GPU,为了监控GPU,您应该在每个连接有GPU的虚拟机实例上使用GPU度量报告代理,这将收集GPU数据并将其发送到

此外,还有两种方法:

  • 高级估计器API:只要 您的ClusterSpec配置正确。如果集群是 CPU和GPU,将ps作业名称映射到CPU和辅助作业 GPU的名称

  • 核心 TensorFlow API:必须分配ops以在启用GPU的情况下运行 机器。此过程与将GPU与TensorFlow一起使用相同 在当地。您可以使用tf.train.replica\u device\u setter将ops分配给 设备

此外,这里有一个关于何时使用GPU而不是CPU的示例,在这里您可以阅读一个关于使用GPU over Tree训练时性能的示例