Python Keras神经网络对每个输入输出相同的结果
我试图实现一个前馈神经网络 结构如下: 输入层:8个神经元,隐藏层:8个神经元,输出层:8个神经元 输入数据是8位向量(输入层的每个神经元1位)。 神经网络的输出也是8位向量。因此,数据集总共有256个示例 示例:如果给定x=[0.0,1.0,0.0,0.0,1.0,1.0,0.0,1.0] 输出必须是y=[1.0,0.0,0.0,0.0,0.0,1.0,0.0,1.0] 这就是实现:Python Keras神经网络对每个输入输出相同的结果,python,machine-learning,neural-network,keras,Python,Machine Learning,Neural Network,Keras,我试图实现一个前馈神经网络 结构如下: 输入层:8个神经元,隐藏层:8个神经元,输出层:8个神经元 输入数据是8位向量(输入层的每个神经元1位)。 神经网络的输出也是8位向量。因此,数据集总共有256个示例 示例:如果给定x=[0.0,1.0,0.0,0.0,1.0,1.0,0.0,1.0] 输出必须是y=[1.0,0.0,0.0,0.0,0.0,1.0,0.0,1.0] 这就是实现: from keras.models import Sequential from keras.layers i
from keras.models import Sequential
from keras.layers import Dense
import numpy as np
import random
from math import ceil
#Dimension of layers
dim = 8
#Generate dataset
X = []
for i in range(0,2**dim):
n = [float(x) for x in bin(i)[2:]]
X.append([0.]*(dim-len(n))+n)
y = X[:]
random.shuffle(y)
X = np.array(X)
y = np.array(y)
# create model
model = Sequential()
model.add(Dense(dim, input_dim=dim, init='normal', activation='sigmoid'))
model.add(Dense(dim, init='normal', activation='sigmoid'))
model.add(Dense(dim, init='normal', activation='sigmoid'))
# Compile model
model.compile(loss='mse', optimizer='SGD', metrics=['accuracy'])
# Fit the model
model.fit(X, y, nb_epoch=1000, batch_size=50, verbose=0)
# evaluate the model
scores = model.evaluate(X, y)
print("%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))
output = model.predict(X)
#Make the output binary
for i in range(0, output[:,0].size):
for j in range(0, output[0].size):
if output[i][j] > 0.5 or output[i][j] == 0.5:
output[i][j] = 1
else:
output[i][j] = 0
print(output)
这是我在输出中得到的结果:
acc: 50.39%
[[ 1. 0. 0. ..., 0. 1. 1.]
[ 1. 0. 0. ..., 0. 1. 1.]
[ 1. 0. 0. ..., 0. 1. 1.]
...,
[ 1. 0. 0. ..., 0. 1. 1.]
[ 1. 0. 0. ..., 0. 1. 1.]
[ 1. 0. 0. ..., 0. 1. 1.]]
似乎所有的输出都有相同的值。所以我不知道配置有什么问题。我尝试了这个方法,建议删除输出层的激活函数,但当我运行这个方法时,我得到了所有具有此值的输出向量:
[0.1.1….,1.1.1.]
关于如何使其工作的任何见解?输出与多标签分类相对类似,因此我建议:
我也有同样的问题 我建议您降低SGD的学习率。在我的例子中,我使用了lr=0.001的Adam优化器,但改为0.0001解决了这个问题 SGD的默认参数: keras.optimizers.SGD(lr=0.01,动量=0.0,衰减=0.0,nesterov=False)
如果您尝试了上述所有方法,但均无效,则表示
如果您尝试适应噪音,则输入和输出之间没有连接/相关性/相关性。您尝试重新运行了多少次?也许使用不同的优化器或正则化/随机化算法会有所帮助。看来你的网络可能陷入了局部极小值。我试着重新运行了15次,得到了同样的结果。我尝试过使用“Adam”和“relu”激活,这有点重要,现在我得到了不同的输出,但精度仍然很低(256个正确输出中有4个)。您是否尝试过使用例如dropout?还是批量标准化?有趣的数据选择。你的目标是学习洗牌功能?抱歉耽搁了。是的,我试过退出,但似乎不起作用,这解决了我的问题,我的CNN对所有输入产生相同的概率分布…困惑!