如何在部分空的常规网格中 interpolate/extrapolate？

Question

我想创建一个 python 函数来在部分空的网格内进行线性插值并获得最近的外推值。

假设我将以下数据存储在 pandas DataFrame 中：

In [1]: import numpy as np
In [2]: import pandas as pd

In [3]: x = [0,1,2,3,4]
In [4]: y = [0.5,1.5,2.5,3.5,4.5,5.5]
In [5]: z = np.array([[np.nan,np.nan,1.5,2.0,5.5,3.5],[np.nan,1.0,4.0,2.5,4.5,3.0],[2.0,0.5,6.0,1.5,3.5,np.nan],[np.nan,1.5,4.0,2.0,np.nan,np.nan],[np.nan,np.nan,2.0,np.nan,np.nan,np.nan]])
In [6]: df = pd.DataFrame(z,index=x,columns=y)
In [7]: df
Out[7]:
    0.5  1.5  2.5  3.5  4.5  5.5
 0  NaN  NaN  1.5  2.0  5.5  3.5
 1  NaN  1.0  4.0  2.5  4.5  3.0
 2  2.0  0.5  6.0  1.5  3.5  NaN
 3  NaN  1.5  4.0  2.0  NaN  NaN
 4  NaN  NaN  2.0  NaN  NaN  NaN

我想获得 myInterp 函数 returns 数据边界内的线性插值（即不是 NaN 值）并在边界外（即 NaN 或无值）获得最近的外推，例如:

In [1]: myInterp([1.5,2.5]) #linear interpolation
Out[1]: 5.0

In [2]: myInterp([1.5,4.0]) #bi-linear interpolation
Out[2]: 3.0

In [3]: myInterp([0.0,2.0]) #nearest extrapolation (inside grid)
Out[3]: 1.5

In [4]: myInterp([5.0,2.5]) #nearest extrapolation (outside grid)
Out[4]: 2.0

我尝试了很多 scipy.interpolate 包的组合但都没有成功，有没有人有建议如何去做？

Answer 1

是的，不幸的是 scipy 不处理 nans

来自文档：

Note that calling interp2d with NaNs present in input values results in undefined behaviour.

甚至在 np.masked_array 中屏蔽 nans 也不成功。

所以我的建议是从 z 中删除所有 nan 条目，方法是借此机会只为有效数据提供 sp.interp2d x 和 y 坐标的完整列表，然后离开z 也是 1D:

X=[];Y=[];Z=[]                     # initialize new 1-D-lists for interp2
for i, xi in enumerate(x):         # iterate through x
    for k, yk in enumerate(y):     # iterate through y
        if not np.isnan(z[i, k]):  # check if z-value is valid...
            X.append(xi)           # ...and if so, append coordinates and value to prepared lists
            Y.append(yk)
            Z.append(z[i, k])

这样至少 sp.interp2d 可以工作并给出结果：

ip = sp.interpolate.interp2d(X,Y,Z)

但是，结果中的值不会令您满意：

In: ip(x,y)
Out: 
array([[ 18.03583061,  -0.44933642,   0.83333333,  -1.        , -1.46105542],
       [  9.76791531,   1.3014037 ,   2.83333333,   1.5       ,  0.26947229],
       [  1.5       ,   3.05214381,   4.83333333,   4.        ,   2.        ],
       [  2.        ,   3.78378051,   1.5       ,   2.        ,   0.8364618 ],
       [  5.5       ,   3.57039277,   3.5       ,  -0.83019815,  -0.7967441 ],
       [  3.5       ,   3.29227922,  17.29607177,   0.        ,   0.        ]])

与输入数据相比：

In:z
Out: 
array([[ nan,  nan,  1.5,  2. ,  5.5,  3.5],
       [ nan,  1. ,  4. ,  2.5,  4.5,  3. ],
       [ 2. ,  0.5,  6. ,  1.5,  3.5,  nan],
       [ nan,  1.5,  4. ,  2. ,  nan,  nan],
       [ nan,  nan,  2. ,  nan,  nan,  nan]])

但恕我直言，这是因为您的数据中的梯度变化太大了。关于数据样本数量少的情况更是如此。

我希望这只是一个测试数据集，您的实际应用程序具有更平滑的梯度和更多样本。那么我很高兴听到它是否有效...

然而，零梯度数组的简单测试 - 仅被 nans 破坏了一点 - 可能暗示 interpolation 应该有效，而外推只是部分正确:

In:ip(x,y)
Out: 
array([[ 3.        ,  3.        ,  3.        ,  3.        ,  0.        ],
       [ 3.        ,  3.        ,  3.        ,  3.        ,  1.94701008],
       [ 3.        ,  3.        ,  3.        ,  3.        ,  3.        ],
       [ 3.        ,  3.        ,  3.        ,  3.        ,  1.54973345],
       [ 3.        ,  3.        ,  3.        ,  3.        ,  0.37706713],
       [ 3.        ,  3.        ,  2.32108317,  0.75435203,  0.        ]])

来自简单的测试输入

In:z
Out: 
array([[ nan,  nan,   3.,   3.,   3.,   3.],
       [ nan,   3.,   3.,  nan,   3.,   3.],
       [  3.,   3.,   3.,   3.,   3.,  nan],
       [ nan,   3.,   3.,   3.,  nan,  nan],
       [ nan,  nan,   3.,  nan,  nan,  nan]])

PS: 仔细看右手边：甚至有有效条目完全改变，即错误，这会在下面的分析中引入错误。

但令人惊讶的是：立方体版本在这里表现得更好：

In:ip = sp.interpolate.interp2d(X,Y,Z, kind='cubic')

In:ip(x,y)
Out: 
array([[ 3.        ,  3.        ,  3.        ,  3.02397028,  3.0958811 ],
       [ 3.        ,  3.        ,  3.        ,  3.        ,  3.        ],
       [ 3.        ,  3.        ,  3.        ,  3.        ,  3.        ],
       [ 3.        ,  3.        ,  3.        ,  3.        ,  3.        ],
       [ 3.        ,  3.        ,  3.        ,  2.97602972,  2.9041189 ],
       [ 3.        ,  3.        ,  3.        ,  2.9041189 ,  2.61647559]])

In:z
Out: 
array([[ nan,  nan,   3.,   3.,   3.,   3.],
       [ nan,   3.,   3.,  nan,   3.,   3.],
       [  3.,   3.,   3.,   3.,   3.,  nan],
       [ nan,   3.,   3.,   3.,  nan,  nan],
       [ nan,  nan,   3.,  nan,  nan,  nan]])

Answer 2

由于scipy.interp2d不处理Nans，所以解决方法是在使用interp2d之前先在DataFrame中填充NaN。这可以通过使用 pandas.interpolate 函数来完成。

在前面的示例中，以下提供了所需的输出：

In [1]: from scipy.interpolate import interp2d

In [2]: df = df.interpolate(limit_direction='both',axis=1,inplace=True)
In [3]: myInterp = interp2d(df.index,df.columns,df.values.T)

In [4]: myInterp(1.5,2.5)
Out[4]: array([5.])

In [5]: myInterp(1.5,4.0)
Out[5]: array([3.])

In [6]: myInterp(0.0,2.0)
Out[6]: array([1.5])

In [7]: myInterp(5.0,2.5)
Out[7]: array([2.])

如何在部分空的常规网格中 interpolate/extrapolate？

How to interpolate/extrapolate within partly empty regular grid?

python

interpolation

scipy