Python 如何从曲线拟合中获得置信区间

我的问题涉及统计学和python，我是这两方面的初学者。我正在运行一个模拟，对于自变量（X）的每个值，我为因变量（Y）生成1000个值。我所做的是计算每个X值的Y平均值，并使用scipy.optimize.curve_fit拟合这些平均值。曲线拟合得很好，但我还想画置信区间。我不确定我所做的是否正确，或者我想做的是否可以完成，但我的问题是如何从曲线拟合产生的协方差矩阵中获得置信区间。代码首先从文件中读取平均值，然后仅仅使用曲线拟合

import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import curve_fit


def readTDvsTx(L, B, P, fileformat):
    # L should be '_Fixed_' or '_'
    TD = []
    infile = open(fileformat.format(L, B, P), 'r')
    infile.readline()  # To remove header
    for line in infile:
        l = line.split()  # each line contains TxR followed by CD followed by TD
        if eval(l[0]) >= 70 and eval(l[0]) <=190:
            td = eval(l[2])
            TD.append(td)
    infile.close()
    tdArray = np.array(TD)

    return tdArray


def rec(x, a, b):
    return a * (1 / (x**2)) + b



fileformat = 'Densities_file{}BS{}_PRNTS{}.txt'
txR = np.array(range(70, 200, 20))
parents = np.array(range(1,6))
disc_p1 = readTDvsTx('_Fixed_', 5, 1, fileformat)


popt, pcov = curve_fit(rec, txR, disc_p1)


plt.plot(txR, rec(txR, popt[0], popt[1]), 'r-')
plt.plot(txR, disc_p1, '.')

print(popt)
plt.show()

将numpy导入为np
将matplotlib.pyplot作为plt导入
从scipy.optimize导入曲线\u拟合
def readTDvsTx（L、B、P、文件格式）：
#我应该是“固定”或“固定”
TD=[]
infle=open（fileformat.format（L，B，P），'r'）
infle.readline（）#删除标题
对于填充中的线：
l=line.split（）#每行包含TxR，后跟CD，后跟TD
如果eval（l[0]）>=70且eval（l[0]）这里有一个快速且错误的答案：您可以将
a
和
b
参数的协方差矩阵中的误差近似为其对角线的平方根：
np.sqrt（np.diagonal（pcov））
。然后可以使用参数不确定性来绘制置信区间

答案是错误的，因为在将数据拟合到模型之前，需要估计平均
disc\u p1
点的误差。求平均值时，您丢失了有关总体分散性的信息，导致
曲线拟合
相信您输入的y点是绝对的、无可争议的。这可能会导致低估您的参数错误

要估计平均Y值的不确定性，需要估计其离散度，并将其传递到
曲线拟合
，同时说明误差是绝对的。下面是如何对随机数据集执行此操作的示例，其中每个点由从正态分布中提取的1000个样本组成

from scipy.optimize import curve_fit
import matplotlib.pylab as plt
import numpy as np

# model function
func = lambda x, a, b: a * (1 / (x**2)) + b 

# approximating OP points
n_ypoints = 7 
x_data = np.linspace(70, 190, n_ypoints)

# approximating the original scatter in Y-data
n_nested_points = 1000
point_errors = 50
y_data = [func(x, 4e6, -100) + np.random.normal(x, point_errors,
          n_nested_points) for x in x_data]

# averages and dispersion of data
y_means = np.array(y_data).mean(axis = 1)
y_spread = np.array(y_data).std(axis = 1)

best_fit_ab, covar = curve_fit(func, x_data, y_means,
                               sigma = y_spread,
                               absolute_sigma = True)
sigma_ab = np.sqrt(np.diagonal(covar))

from uncertainties import ufloat
a = ufloat(best_fit_ab[0], sigma_ab[0])
b = ufloat(best_fit_ab[1], sigma_ab[1])
text_res = "Best fit parameters:\na = {}\nb = {}".format(a, b)
print(text_res)

# plotting the unaveraged data
flier_kwargs = dict(marker = 'o', markerfacecolor = 'silver',
                    markersize = 3, alpha=0.7)
line_kwargs = dict(color = 'k', linewidth = 1)
bp = plt.boxplot(y_data, positions = x_data,
                 capprops = line_kwargs,
                 boxprops = line_kwargs,
                 whiskerprops = line_kwargs,
                 medianprops = line_kwargs,
                 flierprops = flier_kwargs,
                 widths = 5,
                 manage_ticks = False)
# plotting the averaged data with calculated dispersion
#plt.scatter(x_data, y_means, facecolor = 'silver', alpha = 1)
#plt.errorbar(x_data, y_means, y_spread, fmt = 'none', ecolor = 'black')

# plotting the model
hires_x = np.linspace(50, 190, 100)
plt.plot(hires_x, func(hires_x, *best_fit_ab), 'black')
bound_upper = func(hires_x, *(best_fit_ab + sigma_ab))
bound_lower = func(hires_x, *(best_fit_ab - sigma_ab))
# plotting the confidence intervals
plt.fill_between(hires_x, bound_lower, bound_upper,
                 color = 'black', alpha = 0.15)
plt.text(140, 800, text_res)
plt.xlim(40, 200)
plt.ylim(0, 1000)
plt.show()


编辑：
如果您不考虑数据点上的固有错误，那么使用我前面提到的“qiuck and error”案例可能没问题。协方差矩阵对角线项的平方根可用于计算置信区间。但是，请注意，由于我们已经消除了不确定性，置信区间已经缩小：

from scipy.optimize import curve_fit
import matplotlib.pylab as plt
import numpy as np

func = lambda x, a, b: a * (1 / (x**2)) + b

n_ypoints = 7
x_data = np.linspace(70, 190, n_ypoints)

y_data = np.array([786.31, 487.27, 341.78, 265.49,
                    224.76, 208.04, 200.22])
best_fit_ab, covar = curve_fit(func, x_data, y_data)
sigma_ab = np.sqrt(np.diagonal(covar))

# an easy way to properly format parameter errors
from uncertainties import ufloat
a = ufloat(best_fit_ab[0], sigma_ab[0])
b = ufloat(best_fit_ab[1], sigma_ab[1])
text_res = "Best fit parameters:\na = {}\nb = {}".format(a, b)
print(text_res)

plt.scatter(x_data, y_data, facecolor = 'silver',
            edgecolor = 'k', s = 10, alpha = 1)

# plotting the model
hires_x = np.linspace(50, 200, 100)
plt.plot(hires_x, func(hires_x, *best_fit_ab), 'black')
bound_upper = func(hires_x, *(best_fit_ab + sigma_ab))
bound_lower = func(hires_x, *(best_fit_ab - sigma_ab))
# plotting the confidence intervals
plt.fill_between(hires_x, bound_lower, bound_upper,
                 color = 'black', alpha = 0.15)
plt.text(140, 630, text_res)
plt.xlim(60, 200)
plt.ylim(0, 800)
plt.show()


如果您不确定是否要将绝对误差包括在内，或者如何在您的案例中估算它们，您最好在，由于堆栈溢出主要用于讨论回归方法的实现，而不是讨论基础统计。
kmpfit模块可以在拟合非线性函数时计算置信区间，请参阅我的这篇文章。你需要使用拟合的所有点，而不仅仅是平均值。PS：如果你想自己进行置信区间计算，我对答案的评论有一个链接（到）。使用拟合的所有点并不是那么简单，因为osmak的函数是多元的。谢谢大家的评论。问题是我认为我误解了我获取价值观的方式。在我的模拟中，我搜索某个密度，简称为目标密度或TD。我这样做的方式是运行1000个模拟实例，并检查使用某些标准的实例的平均值，如果满足这些标准，则表明我已达到TD。增加自变量的值不会影响TD，即它不是正态分布。谢谢你的回答。问题是我认为我误解了我获取价值观的方式。在我的模拟中，我搜索某个密度，简称为目标密度或TD。我这样做的方式是运行1000个模拟实例，并检查使用某些标准的实例的平均值，如果满足这些标准，则表明我已达到TD。增加自变量的值不会影响TD，即它不是正态分布。因此，收敛的TD值没有任何不确定性？这并不是说它们没有任何不确定性，它们更像是极限。我搜索满足某个标准的最低TD（自变量的值），即增加它也会满足该标准。如果我重复搜索某个配置（可能需要几天的执行时间），我通常会得到相同的加/减10限制，但这是不可行的，因为这非常耗时，因此很难获得统计上可靠的数据。@osmak我明白了。我编辑了我的答案以回应你的评论。如果我理解你的情况，那么你可能仍然需要记住，以这种方式导出的置信限仍然是你实验中某些“最佳情况”的近似值。非常感谢你的努力，你帮了我很大的忙。