numpy逆矩阵不适用于满秩矩阵-牛顿法logistic回归中的hessian

我试图用numpy计算一个满秩矩阵的逆，但是当我测试点积时，我发现它没有得到单位矩阵，这意味着它没有正确地反转

我的代码：

H = calculateLogisticHessian(theta, X) #returns a 5x5 matrix
Hinv = np.linalg.inv(H)
print("H = " + str(H))
print("Hinv = " + str(Hinv))
I = np.dot(H, Hinv)
isIdentity = np.allclose(I , np.eye(5))
print("invdotinv = " + str(isIdentity) + "\n" + str(I))

以及输出：

H = [[  77.88167948   81.49914902   85.11661855   88.73408809   92.35155763]
 [  81.49914902   85.36097831   89.2228076    93.0846369    96.94646619]
 [  85.11661855   89.2228076    93.32899665   97.4351857   101.54137475]
 [  88.73408809   93.0846369    97.4351857   101.7857345   106.1362833 ]
 [  92.35155763   96.94646619  101.54137475  106.1362833   110.73119186]]
Hinv = [[  1.41918134e+02   1.00000206e+08  -1.00000632e+08  -9.99999204e+07
    1.00000205e+08]
 [  1.00000347e+08   1.00000647e+08  -4.00001421e+08   9.99994941e+07
    1.00000932e+08]
 [ -1.00000916e+08  -4.00001424e+08   8.00003700e+08   5.68436971e+02
   -3.00001928e+08]
 [ -9.99997780e+07   1.00000065e+08  -5.72321511e+02   1.00000063e+08
   -9.99997769e+07]
 [  1.00000205e+08   1.00000505e+08  -3.00001073e+08  -1.00000205e+08
    2.00000567e+08]]
invdotinv = False
[[  1.00000000e+00  -3.81469727e-06  -7.62939453e-06   3.81469727e-06
    3.81469727e-06]
 [  0.00000000e+00   1.00000191e+00  -1.52587891e-05   3.81469727e-06
    0.00000000e+00]
 [ -3.81469727e-06   1.90734863e-06   9.99992371e-01   3.81469727e-06
    3.81469727e-06]
 [  1.90734863e-06  -1.90734863e-06  -7.62939453e-06   1.00000191e+00
    3.81469727e-06]
 [  0.00000000e+00  -1.90734863e-06   0.00000000e+00   0.00000000e+00
    1.00000000e+00]]

正如您所看到的，

np.dot（H，Hinv）

矩阵在计算

np.allclose（I，np.eye（5））

时不返回标识并导致

False

我做错了什么

以后编辑

这是计算海森曲线的函数：

def calculateLogisticHessian(theta, X):
    '''
    calculate the hessian matrix based on given function, assuming it is some king of logistic funciton
    :param theta: the weights
    :param x: 2d array of arguments
    :return: the hessian matrix
    '''
    m, n = X.shape
    H = np.zeros((n,n))
    for i in range(0,m):
        hxi = h(theta, X[i])   #in case of logistic, will return p(y|x)
        xiDotxiT =  np.outer(X[i], np.transpose(X[i]))
        hxiTimesOneMinHxi = hxi*(1-hxi)
        currh = np.multiply(hxiTimesOneMinHxi, xiDotxiT)
        H = np.add(H, currh)
    return np.divide(H, m)

根据andrew ng视频中关于逻辑回归牛顿法的hessian计算公式：

五点零六分

1/m*（从i=1到m的和[h（X[i]）*（1-h（X[i]）*（X[i]* (X[i][T])

其中X是数据的2x2矩阵，h（）是基于θ的函数（θ是weigts），在本例中，该函数返回逻辑函数

我使用的输入：

theta = np.array([0.001, 0.002, 0.003, 0.004, 0.005])
X = np.array(range(5*7))
X = X.reshape((7,5))

H = calculateLogisticHessian(theta, X)

那么，我实现海森公式的方式是否存在错误，或者输入中是否存在问题，问题是什么

谢谢！

Hessian矩阵经常出现。 用于计算条件编号：

---

由于

H

的条件数很大，因此计算其逆运算存在舍入问题。

您确定可以反转此矩阵吗？行列式近似为零：

np.linalg.det（H）

给出了

-5.94505055443953825E-24

，这是在数值不安全性下面，我会在

1e-15

的某个地方命名。另外，试着打印

I

并阅读

np.allclose

的文档。我不确定矩阵是否可以反转。我添加了一个关于我如何到达该矩阵的解释。我看，我没有学习numerical分析。那么人们通常如何处理hessian矩阵求逆呢？我知道这是逻辑回归牛顿法等方法所必需的。

In [188]: np.linalg.cond(H)
Out[188]: 522295671550.72644