Apache spark 如何在EC2火花簇上训练深层神经网络（tensorflow）？

我正在使用deep learning在一个包含100个类别的大数据集上进行图像识别。（与cifar-100的大小相比）我现在正在一台没有GPU的机器上调整hyperparameters。训练非常缓慢。我想知道是否有任何现有的方法在EC2 Spark cluster上进行培训？

---

我知道有SparkNet，但它似乎只支持Caffe。

正如@Ramon评论的那样，spark with tensorflow可以通过广播参数用于超参数调整

输出：

['Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!']

---

最近有几项发展使得使用TensorFlow重新使用Spark cluster进行培训成为可能：

• 雅虎！发布，它使用Spark为您管理分布式TensorFlow群集，并帮助解决数据接收、启动和关闭等问题

• 如果在Mesos星团上运行Spark，则可以按照说明在同一星团上运行TensorFlow

---

如果您打算使用EC2群集“调整超参数”，那么为什么不在整个群集上广播HPs，并让每个学习应用程序以个性化的HP值运行？一个带有for循环和一些ssh调用的批处理脚本应该可以做到这一点。。。

['Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!',
 'Hello, TensorFlow!']