Python tensorflow函数逼近，sigmoid vs relu6_Python_Machine Learning_Tensorflow_Neural Network

Python tensorflow函数逼近，sigmoid vs relu6

python machine-learning tensorflow neural-network

Python tensorflow函数逼近，sigmoid vs relu6,python,machine-learning,tensorflow,neural-network,Python,Machine Learning,Tensorflow,Neural Network,我试图在深层神经网络中用tensorflow近似一个sin（）函数（实际上它可以近似任何东西），它目前有两个层，每个层有10个和5个神经元，我尝试了许多优化器，Adam似乎是最好的（也发现了一篇推荐它的论文）我的问题是，如果我使用relu6作为激活函数，这通常是推荐的，我的近似结果是这样的，它有很多边。另一方面，如果我使用乙状结肠，即使神经元较少，近似也会更加柔和，但它看起来是这样的，我不知道为什么它会失败我已经将该函数映射到间隔[0，1]，然后将其输入到列车步骤中如果您对此有所了解，我们

我试图在深层神经网络中用tensorflow近似一个

sin（）

函数（实际上它可以近似任何东西），它目前有两个层，每个层有10个和5个神经元，我尝试了许多优化器，Adam似乎是最好的（也发现了一篇推荐它的论文）

我的问题是，如果我使用relu6作为激活函数，这通常是推荐的，我的近似结果是这样的，它有很多边。另一方面，如果我使用乙状结肠，即使神经元较少，近似也会更加柔和，但它看起来是这样的，我不知道为什么它会失败

我已经将该函数映射到

间隔[0，1]

，然后将其输入到列车步骤中

如果您对此有所了解，我们将不胜感激，提前感谢

我认为这种情况与激活函数的形状有关。乙状结肠更像波浪。我希望这将有助于理解你的情况。Thx，最终我使用了指数线性单位（ELU），它工作得很好，我很确定它与放逐梯度或死亡RELU问题有关。我认为这种情况与激活函数的形状有关。乙状结肠更像波浪。我希望这将有助于理解你的情况。Thx，最终我使用了指数线性单位（ELU），它工作得很好，我很确定它与放逐梯度或垂死的RELU问题有关