Debugging 为什么逻辑回归中较高的学习率会产生NaN成本？ 总结
我正在使用Octave和Ling垃圾邮件语料库构建垃圾邮件与火腿电子邮件的分类器；我的分类方法是逻辑回归 较高的学习率会导致计算成本的NaN值，但不会破坏/降低分类器本身的性能 我的尝试 NB：我的数据集已经使用平均归一化进行了归一化。 当我尝试选择学习速率时，我从0.1和400次迭代开始。这导致了以下绘图： 1-图1 当he行在几次迭代后完全消失时，这是由于产生了NaN值；我原以为这会导致参数值不正确，从而导致精度不高，但在检查精度时，我发现测试集的精度为95%（这意味着梯度下降显然仍在发挥作用）。我检查了学习率和迭代次数的不同值，以查看图表是如何变化的： 2-图2 线条不再消失，这意味着没有NaN值，但准确率为87%，大大降低了 我又做了两次测试，迭代次数更多，学习率略高，在这两次测试中，图形都如预期的那样随着迭代次数的增加而减少，但准确率约为86-88%。那里也没有南 我意识到我的数据集是扭曲的，只有481封垃圾邮件和2412封火腿邮件。因此，我计算了这些不同组合的FScore，希望发现后面的组合具有更高的FScore，并且精度是由于倾斜。事实也并非如此——我已将我的结果总结在一个表格中： 3-表格 因此，不存在过度拟合和倾斜似乎不是问题；我不知道现在该怎么办 我能想到的唯一一件事是，我对精确度和FScore的计算是错误的，或者我对行“消失”的初始调试是错误的 编辑：这个问题至关重要，它是关于为什么选择的学习率会出现NaN值。因此，我暂时采取的降低学习率的措施并没有真正回答我的问题——我一直认为较高的学习率只是分散而不是汇聚，不会产生NaN值。 我的代码 My main.m代码（从文件获取数据集的条形图）： 我的gradDescent.m代码：Debugging 为什么逻辑回归中较高的学习率会产生NaN成本？ 总结,debugging,machine-learning,octave,logistic-regression,Debugging,Machine Learning,Octave,Logistic Regression,我正在使用Octave和Ling垃圾邮件语料库构建垃圾邮件与火腿电子邮件的分类器；我的分类方法是逻辑回归 较高的学习率会导致计算成本的NaN值，但不会破坏/降低分类器本身的性能 我的尝试 NB：我的数据集已经使用平均归一化进行了归一化。 当我尝试选择学习速率时，我从0.1和400次迭代开始。这导致了以下绘图： 1-图1 当he行在几次迭代后完全消失时，这是由于产生了NaN值；我原以为这会导致参数值不正确，从而导致精度不高，但在检查精度时，我发现测试集的精度为95%（这意味着梯度下降显然仍在发挥
function [optimParams] = gradDescent(features, labels, learningRate, iterations, paramStart, featuresCV, labelsCV)
x_axis = [];
J_axis = [];
J_CV = [];
params = paramStart;
for i=1:iterations,
[cost, grad] = costFunction(features, labels, params);
[cost_CV] = costFunction(featuresCV, labelsCV, params);
params = params - (learningRate.*grad);
x_axis = [x_axis;i];
J_axis = [J_axis;cost];
J_CV = [J_CV;cost_CV];
endfor
graphics_toolkit("gnuplot")
plot(x_axis, J_axis, 'r', x_axis, J_CV, 'b');
legend("Training", "Cross-Validation");
xlabel("Iterations");
ylabel("Cost");
title("Cost as a function of iterations");
optimParams = params;
endfunction
function [cost, grad] = costFunction(features, labels, params)
numRecords = length(labels);
hypothesis = sigmoid(features*params);
cost = (-1/numRecords)*sum((labels).*log(hypothesis)+(1-labels).*log(1-hypothesis));
grad = (1/numRecords)*(features'*(hypothesis-labels));
endfunction
function [accuracy, precision, recall] = predict(features, labels, params, threshold)
numRecords=length(labels);
predictions = sigmoid(features*params)>threshold;
correct = predictions == labels;
truePositives = sum(predictions == labels == 1);
falsePositives = sum((predictions == 1) != labels);
falseNegatives = sum((predictions == 0) != labels);
precision = truePositives/(truePositives+falsePositives);
recall = truePositives/(truePositives+falseNegatives);
accuracy = 100*(sum(correct)/numRecords);
endfunction
cost = (-1/numRecords)*sum((labels).*log(hypothesis)+(1-labels).*log(1-hypothesis+eps(numRecords, 1)));
cost = (-1/numRecords)*sum((labels).*log(hypothesis)+(1-labels).*log(1-hypothesis+eps(numRecords, 1)));