如何在python中使用阈值进行插值?

如何在python中使用阈值进行插值?,python,interpolation,threshold,Python,Interpolation,Threshold,我想通过在python中使用阈值来执行一个特殊的插值: 在这里您可以看到我的代码部分: x=np.arange(0,len(x_values[:-2])) f = interpolate.interp1d(x,derivation) xnew = np.arange(0, len(x_values[:-3]),0.01) ynew = f(xnew) plt.plot(x, derivation, "o",xnew, ynew, "-") 然后我

我想通过在python中使用阈值来执行一个特殊的插值: 在这里您可以看到我的代码部分:

x=np.arange(0,len(x_values[:-2]))    
f = interpolate.interp1d(x,derivation)
xnew = np.arange(0, len(x_values[:-3]),0.01)
ynew = f(xnew)
plt.plot(x, derivation, "o",xnew, ynew, "-")
然后我得到下面的图:

我用颜料在我想去掉的地方画了红色的圆圈(可能还有更多的地方)。 任务是使用阈值插值来解决这个问题。不幸的是,我不知道如何用阈值来解决这个问题。谁能帮帮我吗

图中的蓝色点是我的数据(我有离散值)。因此,始终需要使用上述任务删除该点

谢谢你帮我!:)

x_值
是以下数组:

[0.  , 0.01, 0.02, 0.03, 0.04, 0.05, 0.06, 0.07, 0.08, 0.09, 0.1 ,
       0.11, 0.12, 0.13, 0.14, 0.15, 0.16, 0.17, 0.18, 0.19, 0.2 , 0.21,
       0.22, 0.23, 0.24, 0.25, 0.26, 0.27, 0.28, 0.29, 0.3 , 0.31, 0.32,
       0.33, 0.34, 0.35, 0.36, 0.37, 0.38, 0.39, 0.4 , 0.41, 0.42, 0.43,
       0.44, 0.45, 0.46, 0.47, 0.48, 0.49, 0.5 , 0.51, 0.52, 0.53, 0.54,
       0.55, 0.56, 0.57, 0.58, 0.59, 0.6 , 0.61, 0.62, 0.63, 0.64, 0.65,
       0.66, 0.67, 0.68, 0.69, 0.7 , 0.71, 0.72, 0.73, 0.74, 0.75, 0.76,
       0.77, 0.78, 0.79, 0.8 , 0.81, 0.82, 0.83, 0.84, 0.85, 0.86, 0.87,
       0.88, 0.89, 0.9 , 0.91, 0.92, 0.93, 0.94, 0.95, 0.96, 0.97, 0.98,
       0.99, 1.  , 1.01, 1.02, 1.03, 1.04, 1.05, 1.06, 1.07, 1.08, 1.09,
       1.1 , 1.11, 1.12, 1.13, 1.14, 1.15, 1.16, 1.17, 1.18, 1.19, 1.2 ,
       1.21, 1.22, 1.23, 1.24, 1.25, 1.26, 1.27, 1.28, 1.29, 1.3 , 1.31,
       1.32, 1.33, 1.34, 1.35, 1.36, 1.37, 1.38, 1.39, 1.4 , 1.41, 1.42,
       1.43, 1.44, 1.45, 1.46, 1.47, 1.48, 1.49, 1.5]
[9.88,   -2.12,   29.88,   -2.12,    9.88,   16.88,    9.88,
          4.88,    9.88,   -2.12,    9.88,   16.88,   10.88,    9.88,
         10.88,    9.88,    4.88,    3.88,   -2.12,    9.88,    3.88,
         10.88,   10.88,    9.88,    9.88,   10.88,   10.88,   15.88,
         16.88,   16.88,   22.88,   34.88,   41.88,   53.88,   60.88,
         -2.12,   72.88,   84.88,   97.88,  110.88,  128.88,  141.88,
        159.88,  172.88,  191.88,  203.88,  222.88,  241.88,  266.88,
        272.88,  297.88,  303.88,  322.88,  303.88,  279.88,  240.88,
        166.88,   97.88,   22.88,  -46.12,  -64.12,  -90.12, -139.12,
       -134.12, -164.12, -190.12,   -2.12, -202.12, -226.12, -221.12,
       -227.12, -234.12, -214.12, -214.12, -215.12, -215.12, -208.12,
       -196.12, -189.12, -183.12, -184.12, -189.12, -183.12, -177.12,
       -165.12, -152.12, -146.12,   -2.12, -152.12, -170.12, -171.12,
       -177.12, -171.12, -177.12, -170.12, -159.12, -133.12, -108.12,
        -77.12,  -52.12,  -27.12,   -8.12,   21.88,   47.88,   -2.12,
         73.88,   84.88,   91.88,  109.88,  122.88,  103.88,  110.88,
        110.88,  109.88,  109.88,  110.88,   91.88,   78.88,   66.88,
         53.88,   47.88,   34.88,   29.88,   -2.12,   22.88,   22.88,
         15.88,   16.88,   10.88,    3.88,    9.88,    4.88,   -2.12,
         16.88,   -2.12,    3.88,  -15.12,   -8.12,  -15.12,   -8.12,
         -8.12,   -2.12,   -8.12,   -8.12,   -9.12,   -8.12,   -8.12,
         -2.12,   -9.12]

派生
是以下数组:

[0.  , 0.01, 0.02, 0.03, 0.04, 0.05, 0.06, 0.07, 0.08, 0.09, 0.1 ,
       0.11, 0.12, 0.13, 0.14, 0.15, 0.16, 0.17, 0.18, 0.19, 0.2 , 0.21,
       0.22, 0.23, 0.24, 0.25, 0.26, 0.27, 0.28, 0.29, 0.3 , 0.31, 0.32,
       0.33, 0.34, 0.35, 0.36, 0.37, 0.38, 0.39, 0.4 , 0.41, 0.42, 0.43,
       0.44, 0.45, 0.46, 0.47, 0.48, 0.49, 0.5 , 0.51, 0.52, 0.53, 0.54,
       0.55, 0.56, 0.57, 0.58, 0.59, 0.6 , 0.61, 0.62, 0.63, 0.64, 0.65,
       0.66, 0.67, 0.68, 0.69, 0.7 , 0.71, 0.72, 0.73, 0.74, 0.75, 0.76,
       0.77, 0.78, 0.79, 0.8 , 0.81, 0.82, 0.83, 0.84, 0.85, 0.86, 0.87,
       0.88, 0.89, 0.9 , 0.91, 0.92, 0.93, 0.94, 0.95, 0.96, 0.97, 0.98,
       0.99, 1.  , 1.01, 1.02, 1.03, 1.04, 1.05, 1.06, 1.07, 1.08, 1.09,
       1.1 , 1.11, 1.12, 1.13, 1.14, 1.15, 1.16, 1.17, 1.18, 1.19, 1.2 ,
       1.21, 1.22, 1.23, 1.24, 1.25, 1.26, 1.27, 1.28, 1.29, 1.3 , 1.31,
       1.32, 1.33, 1.34, 1.35, 1.36, 1.37, 1.38, 1.39, 1.4 , 1.41, 1.42,
       1.43, 1.44, 1.45, 1.46, 1.47, 1.48, 1.49, 1.5]
[9.88,   -2.12,   29.88,   -2.12,    9.88,   16.88,    9.88,
          4.88,    9.88,   -2.12,    9.88,   16.88,   10.88,    9.88,
         10.88,    9.88,    4.88,    3.88,   -2.12,    9.88,    3.88,
         10.88,   10.88,    9.88,    9.88,   10.88,   10.88,   15.88,
         16.88,   16.88,   22.88,   34.88,   41.88,   53.88,   60.88,
         -2.12,   72.88,   84.88,   97.88,  110.88,  128.88,  141.88,
        159.88,  172.88,  191.88,  203.88,  222.88,  241.88,  266.88,
        272.88,  297.88,  303.88,  322.88,  303.88,  279.88,  240.88,
        166.88,   97.88,   22.88,  -46.12,  -64.12,  -90.12, -139.12,
       -134.12, -164.12, -190.12,   -2.12, -202.12, -226.12, -221.12,
       -227.12, -234.12, -214.12, -214.12, -215.12, -215.12, -208.12,
       -196.12, -189.12, -183.12, -184.12, -189.12, -183.12, -177.12,
       -165.12, -152.12, -146.12,   -2.12, -152.12, -170.12, -171.12,
       -177.12, -171.12, -177.12, -170.12, -159.12, -133.12, -108.12,
        -77.12,  -52.12,  -27.12,   -8.12,   21.88,   47.88,   -2.12,
         73.88,   84.88,   91.88,  109.88,  122.88,  103.88,  110.88,
        110.88,  109.88,  109.88,  110.88,   91.88,   78.88,   66.88,
         53.88,   47.88,   34.88,   29.88,   -2.12,   22.88,   22.88,
         15.88,   16.88,   10.88,    3.88,    9.88,    4.88,   -2.12,
         16.88,   -2.12,    3.88,  -15.12,   -8.12,  -15.12,   -8.12,
         -8.12,   -2.12,   -8.12,   -8.12,   -9.12,   -8.12,   -8.12,
         -2.12,   -9.12]

编辑

如果我使用
kind='nearest'
,那么它看起来是这样的:


这有点奇怪,也不是我最后想要的。

我解决您问题的方法如下:

  • 推导应用中值滤波器,窗口为5或7。这将返回一个与
    派生
    大小相同的新数组,我们称之为
    筛选的\u派生
  • 计算
    推导
    过滤的推导
    之间差值的绝对值。检查数据并确定适当的阈值
  • 删除
    衍生中所有超出您确定的阈值的点
  • 求导
    数组上执行插值,去除异常值

  • 我对你的问题的处理方法如下:

  • 推导应用中值滤波器,窗口为5或7。这将返回一个与
    派生
    大小相同的新数组,我们称之为
    筛选的\u派生
  • 计算
    推导
    过滤的推导
    之间差值的绝对值。检查数据并确定适当的阈值
  • 删除
    衍生中所有超出您确定的阈值的点
  • 求导
    数组上执行插值,去除异常值

  • 根据chris的建议,我使用medfilt使用中值进行插值。有一个
    窗口
    ,共3个

    from scipy.interpolate import interp1d
    from scipy.signal import medfilt
    z = medfilt(derivation,3)
    x=np.arange(0,len(x_values[:-2]))    
    f = interp1d(x,z,kind="linear")
    xnew = np.arange(0, len(x_values[:-3]),0.01)
    ynew = f(xnew)
    plt.figure(figsize=(14,7))
    plt.plot(x, z,"o",xnew, ynew, "-")
    
    

    在新图像中,我们可以注意到平滑只发生在峰值非常高的点上(根据我们基于阈值
    >50
    的过滤集),但是,我们可以根据需要降低该阈值。
    new\u smootheddata=np。其中(diff>50,z,派生)
    这一行表示如果
    diff>50
    ,则选择平滑的
    z
    值,否则选择原始数据

    如何保持原始点显示


    根据chris的建议,我使用medfilt使用中位数进行插值。窗口
    为3

    from scipy.interpolate import interp1d
    from scipy.signal import medfilt
    z = medfilt(derivation,3)
    x=np.arange(0,len(x_values[:-2]))    
    f = interp1d(x,z,kind="linear")
    xnew = np.arange(0, len(x_values[:-3]),0.01)
    ynew = f(xnew)
    plt.figure(figsize=(14,7))
    plt.plot(x, z,"o",xnew, ynew, "-")
    
    

    在新图像中,我们可以注意到平滑只发生在峰值非常高的点上(根据我们基于阈值
    >50
    的过滤集),但是,我们可以根据需要降低该阈值。
    new\u smootheddata=np。其中(diff>50,z,派生)
    这一行表示如果
    diff>50
    ,则选择平滑的
    z
    值,否则选择原始数据

    如何保持原始点显示



    您尝试过更改插值类型吗?据我所知,您不希望这些峰值成为插值的一部分,对吗?我尝试过对函数进行插值。但我的任务是使用阈值对函数进行插值,以删除这些峰值或异常值。不幸的是,我不知道如何在一次插值中处理阈值插值消除这些斑点并使函数平滑的方法。我也有一种感觉,我在这里使用的插值函数到目前为止还没有真正起到任何作用。如果我做一个正常的绘图,也就是说,让值按正常方式绘图,我会得到相同的函数级数。当我使用
    kind='nearest'
    时,会发生以下情况(见我问题中的编辑)你试过改变插值类型吗?据我所知,你不想让那些峰值成为插值的一部分,对吗?我试过插值函数。但我的任务是使用阈值来插值函数,以去除这些峰值或异常值。不幸的是,我不知道如何处理阈值插值去除了这些斑点并使函数平滑。我也有一种感觉,我在这里使用的插值函数到目前为止还没有真正起到任何作用。如果我做一个标准图,也就是说,让值作为标准图来绘制,我会得到相同的函数级数。当我使用
    kind='nearest'
    时,会发生以下情况(请参见问题中的编辑)您能向我解释一下阈值的含义以及它应该是什么样子的(可能有一个简短的图形)?请。@mathsqt如果我的解决方案解决了您的问题,请选择chris的答案作为
    答案
    请。我只实现了他的逻辑。您能给我解释一下阈值是什么意思以及它应该是什么样子的吗(可能用一个简短的绘图)?请。@mathsqt如果我的解决方案解决了您的问题,请选择chris的答案作为
    answer
    Please。我只实现了他的逻辑。您太棒了:)谢谢!我会试试看。@mathsqt从窗口大小看,太大会使你的绘图变得非常平滑,所以请保持3个值。^ ^为了让它更好,你现在可以完全按照chris所说的,在新平滑的列表和上一个列表之间应用一个阈值。如果差异很大,请保留新平滑列表的值(如果你在这方面需要帮助,我可以做并解释,但我需要一些时间)@mathsqt all解释。实施得好!你太棒了:)Tha