Python 返回NaN值的无sqrt

在我的代码中，我使用theano计算欧几里德距离矩阵（代码来自）：

但以下代码导致矩阵的某些值为

NaN

。我读到过这样的情况，当计算ano.tensor.sqrt（）时会发生，建议

在sqrt内添加eps（或最大（x，eps））

因此，我在代码中添加了一个eps：

import theano
import theano.tensor as T

eps = 1e-9

MAT = T.fmatrix('MAT')

squared_euclidean_distances = (MAT ** 2).sum(1).reshape((MAT.shape[0], 1)) + (MAT ** 2).sum(1).reshape((1, MAT.shape[0])) - 2 * MAT.dot(MAT.T)

f_euclidean = theano.function([MAT], T.sqrt(eps+squared_euclidean_distances))

def pdist_euclidean(mat):
    return f_euclidean(mat)

---

我在执行

sqrt

之前添加它。我得到的

NaN

s越来越少，但我仍然得到了它们。解决这个问题的正确方法是什么？我还注意到，如果

MAT

是

T.dmatrix（）

则在计算欧氏距离时，没有

NaN

存在两种可能的NaN来源

浮点表示法近似问题导致负距离，而实际上它只是零。负数的平方根是未定义的（假设您对复数不感兴趣）

想象

MAT

具有该值

[[ 1.62434536 -0.61175641 -0.52817175 -1.07296862  0.86540763]
 [-2.3015387   1.74481176 -0.7612069   0.3190391  -0.24937038]
 [ 1.46210794 -2.06014071 -0.3224172  -0.38405435  1.13376944]
 [-1.09989127 -0.17242821 -0.87785842  0.04221375  0.58281521]]

现在，如果我们分解计算，我们会看到，

（MAT**2）.sum（1）.重塑（（MAT.shape[0]，1））+（MAT**2.sum（1）.重塑（（1，MAT.shape[0]））

有值

[[ 10.3838024   -9.92394296  10.39763039  -1.51676099]
 [ -9.92394296  18.16971188 -14.23897281   5.53390084]
 [ 10.39763039 -14.23897281  15.83764622  -0.65066204]
 [ -1.51676099   5.53390084  -0.65066204   4.70316652]]

[[ 10.3838024   14.27675714  13.11072431   7.54348446]
 [ 14.27675714  18.16971188  17.00367905  11.4364392 ]
 [ 13.11072431  17.00367905  15.83764622  10.27040637]
 [  7.54348446  11.4364392   10.27040637   4.70316652]]

并且

2*MAT.dot（MAT.T）

具有值

[[ 10.3838024   -9.92394296  10.39763039  -1.51676099]
 [ -9.92394296  18.16971188 -14.23897281   5.53390084]
 [ 10.39763039 -14.23897281  15.83764622  -0.65066204]
 [ -1.51676099   5.53390084  -0.65066204   4.70316652]]

[[ 10.3838024   14.27675714  13.11072431   7.54348446]
 [ 14.27675714  18.16971188  17.00367905  11.4364392 ]
 [ 13.11072431  17.00367905  15.83764622  10.27040637]
 [  7.54348446  11.4364392   10.27040637   4.70316652]]

这两个值的对角线应该相等（向量和它本身之间的距离为零），从这个文本表示来看，这看起来是真的，但事实上它们略有不同——当我们像这样打印浮点值时，差异太小，无法显示出来

当我们打印完整表达式的值（从第一个矩阵减去上面的第二个矩阵）时，这一点变得很明显

对角线几乎由零组成，但第二行第二列中的项现在是一个非常小的负值。然后，当您计算所有这些值的平方根时，您会在该位置得到

NaN

，因为负数的平方根未定义（对于实数）

计算欧氏距离表达式相对于函数输入内变量的梯度。这不仅可能发生在由于浮点近似（如上所述）而生成负数的输入时，而且也可能发生在任何输入长度为零的情况下

如果

y=sqrt（x）

那么

dy/dx=1/（2*sqrt（x））

。因此，如果

x=0

或者出于您的目的，如果

squared\u euclidean\u distance=0

，那么梯度将是

NaN

，因为

2*sqrt（0）=0

和除以0是未定义的

第一个问题的解决方案可以通过强制平方距离不小于零来确保平方距离从不为负来实现：

T.sqrt(T.maximum(squared_euclidean_distances, 0.))

要解决这两个问题（如果你需要梯度），你需要确保平方距离永远不为负或零，因此用一个小的正ε来约束：

T.sqrt(T.maximum(squared_euclidean_distances, eps))

第一种解决方案是有意义的，因为问题只产生于近似表示。第二个更值得怀疑，因为真实距离为零，所以在某种意义上，梯度应该是未定义的。您的特定用例可能会产生一些替代解决方案，即在没有人为边界的情况下维护语义（例如，通过确保从不计算/使用零长度向量的梯度）。但是

NaN

值可能是有害的：它们可以像杂草一样蔓延。

只是检查一下 在

平方欧几里得距离中

添加一列、一行和一个矩阵。你确定这就是你想要的吗

更准确地说，如果

MAT

是形状（n，p），那么您正在添加形状（n，1）、（1，n）和（n，n）的矩阵

Theano似乎在默默地重复每个一维成员的行（分别是列），以匹配点积的行数和列数

如果这是你想要的 在重塑中，您可能应该根据指定

ndim=2

如果形状是一个变量参数，那么您可能需要使用可选的ndim参数来声明形状有多少个元素，以及重塑后的变量将有多少个维度

---

此外，

squared_euclidean_distance

似乎应该始终为正值，除非差值中的不精确误差将零值变为较小的负值。如果这是真的，并且如果负值是你看到的NAN的原因，你确实可以通过使用

abs（…）包围
squared\u euclidean\u distance
来消除它们，而不会破坏你的结果

添加负值检查并打印数据，以便跟踪它们的来源。@stark我在

平方欧几里得距离中有负值

，我是否应该使用

T.abs

？不。你应该跟踪函数的错误。@stark应该可以，我从中获取了它，并使用

dmatrix

而不是

fmatrix

给我带来了无

NaN

abs仍然毫无意义。如果是负数，只需使用0.0.My代码就可以生成与scipy.space.distance.squareform（scipy.space.distance.pdist（mat，'euclidean'））相同的输出。，“T.sqrt（T.max（squared_euclidean_distance，eps））”为我解决这个问题。德克萨斯州

T.sqrt(T.maximum(squared_euclidean_distances, eps))