Memory 为使用tensorflow进行更快的深度学习模型培训选择基础设施？

我是tensorflow深度学习的新手。我正在尝试seq2seq模型示例代码

我想了解：

层数、层大小和批次的最小值是多少 我可以从能够测试seq2seq的尺寸开始 模型是否具有令人满意的精度

此外，内存方面所需的最低基础结构设置 以及cpu能力，以在最大 几小时的时间

我的经验是训练一个seq2seq模型，用它来建立一个神经网络 2层，尺寸为900，批量为4

• 在4GB RAM、3GHz Intel i5单核上训练大约需要3天时间 处理器
• 在8GB RAM、3GHz Intel i5单核上训练大约需要1天时间 处理器

---

哪个对更快的培训最有帮助？更多的RAM容量、多个CPU核心还是CPU+GPU组合核心？

免责声明：我也是新手，在很多方面可能都是错的

我是tensorflow深度学习的新手。我正在尝试 seq2seq模型示例代码

我想了解：

层数、层大小和批次的最小值是多少 我可以从能够测试seq2seq模型开始的大小 准确度令人满意

我认为这将取决于你的实验。了解什么适用于您的数据集。我听过几条建议：如果可以的话，不要选择自己的体系结构——找其他经过尝试和测试的体系结构。如果你想在两者之间做出选择，那么更深的网络似乎比更广的网络更好。我还认为如果你有内存，批量越大越好。我听说要最大化网络规模，然后进行规范化，这样你就不会过度适应

我的印象是，这些都是大问题，没有人真正知道答案（这可能是非常错误的！）。我们都喜欢用一种聪明的方法来选择层的大小/层数，但是没有人确切地知道改变这些东西会对训练产生怎样的影响

此外，在内存和cpu能力方面，需要最低限度的基础设施设置来训练这种深度 在最多几个小时内学习模型

根据您的型号，这可能是一个不合理的要求。似乎有些型号的列车（在GPU上）需要数百小时甚至数千小时

我的经验是 一直在训练一个seq2seq模型，以建立一个具有2层的神经网络 尺寸为900，批量为4 在4GB RAM、3GHz Intel i5单核上训练大约需要3天时间 处理器。在8GB RAM、3GHz Intel i5上训练大约需要1天时间 单核处理器。这对更快的训练最有帮助-更多 RAM容量、多个CPU核心还是CPU+GPU组合核心

我相信GPU对你的帮助最大。我见过一些使用CPU的东西（异步actor critic或其他什么？他们没有使用锁定），看起来CPU更好，但我认为GPU会给你巨大的加速