Artificial intelligence 乙状结肠激活的神经网络是否使用阈值?

Artificial intelligence 乙状结肠激活的神经网络是否使用阈值?,artificial-intelligence,neural-network,threshold,Artificial Intelligence,Neural Network,Threshold,我有点困惑。我刚开始研究神经网络,我构建的第一个神经网络使用阶跃激活,每个神经元都有阈值。现在我不想实现乙状结肠激活,但这种激活似乎不使用阈值,只使用神经元之间的权重。但是在我找到的关于这个的信息中,有一个词是阈值,只是我找不到它们应该在激活函数中的什么位置 在神经网络中,乙状结肠激活函数是否使用阈值?乙状结肠函数的值在[0;1]范围内,0.5作为阈值,如果h(θ)=0.5,则它是1 阈值仅用于网络的输出层,并且仅在分类时使用。因此,如果您试图在4个类之间进行分类,那么输出层有4个节点y=[y1

我有点困惑。我刚开始研究神经网络,我构建的第一个神经网络使用阶跃激活,每个神经元都有阈值。现在我不想实现乙状结肠激活,但这种激活似乎不使用阈值,只使用神经元之间的权重。但是在我找到的关于这个的信息中,有一个词是阈值,只是我找不到它们应该在激活函数中的什么位置


在神经网络中,乙状结肠激活函数是否使用阈值?

乙状结肠函数的值在
[0;1]
范围内,
0.5
作为阈值,如果
h(θ)<0.5
我们假设它的值是
0
,如果
h(θ)>=0.5
,则它是
1


阈值仅用于网络的输出层,并且仅在分类时使用。因此,如果您试图在4个类之间进行分类,那么输出层有4个节点
y=[y1,y2,y3,y4]
,您将使用此阈值来分配
y[i]
1
0
,这不需要。Sigmoid曲线本身部分可作为阈值。

没有步进激活中的离散跳跃。阈值可被视为S形函数为0.5的点。某些sigmoid函数将其设置为0,而某些函数将其设置为不同的“阈值”


阶跃函数可以看作是陡度设置为无穷大的S形函数的一个版本。在这种情况下有一个明显的阈值,对于不太陡峭的乙状结肠函数,阈值可以被认为是函数值为0.5或最大陡峭点。

所以基本上每个神经元都是相同的?仅仅是与其他神经元的其他连接?可能是这样的。网络仍然可以学习和做你教它做的任何事情。“在对所有/无进行分类时,最终只应用真实的硬阈值。@BorisStitnicky我试图用sigmoid和无阈值编程一个简单的感知器,但它似乎没有学习XOR。它有一个隐藏层。我只介绍分类神经元的阈值好吗?如果是这样,我该如何更新它?这可能会解决您的问题,也可能不会,这取决于您的学习算法。当然,这是一个错误,但在这种情况下,它将有多个解决方案。显然,如果您想教它XOR,最后必须应用阈值,因为XOR有0/1输出。但更让我担心的是你的学习算法。你从来没有说过是你自己写的还是你在用什么。如果你碰巧会说Ruby,试试看,他们有示例代码,慢慢修改以满足你的需要。我应该在学习过程中修改权重的同时编辑陡度因子吗?如果你这样做,在数量级上,你应该比改变权重的速度慢。阈值也可以被视为多类或二元分类任务的一种工具,你可能想要操纵精度或召回率。在我看来,你发现的信息将偏差信号称为阈值。默认情况下,可以将乙状结肠的阈值视为0(即y=0.5,如Kendall Frey的回答中所述)。偏差是对神经元的恒定输入,它有效地移动x轴上的S形函数。使用0.5作为阈值总是“最佳”的,还是应该在一些验证数据上学习阈值?在我的测试中,0.5比学习最佳阈值(取平均积极和消极分数之间的中间值)效果更好。但我不确定情况是否总是如此。