将函数应用于多索引多列数据帧的 Pythonic 方法是什么？

Question

给定下面的多索引多列数据框，我想将 LinearRegression 应用于此数据框的每个块，例如，"index(X,1), column A"。并将预测数据帧计算为 df_result.

                           A    B
X   1   1997-01-31  -0.061332   0.630682
        1997-02-28  -2.671818   0.377036
        1997-03-31  0.861159    0.303689
        ...
        1998-01-31  0.535192    -0.076420
        ...
        1998-12-31  1.430995    -0.763758
Y   1   1997-01-31  -0.061332   0.630682
        1997-02-28  -2.671818   0.377036
        1997-03-31  0.861159    0.303689
        ...
        1998-01-31  0.535192    -0.076420
        ...
        1998-12-31  1.430995    -0.763758

这是我试过的：

import pandas as pd
import numpy as np 
from sklearn.linear_model import LinearRegression

N = 24
dates = pd.date_range('19970101', periods=N, freq='M')
df=pd.DataFrame(np.random.randn(len(dates),2),index=dates,columns=list('AB')) 
df2=pd.concat([df,df],keys=[('X','1'),('Y','1')])

regr = LinearRegression()

# df_result will be reassined, copy the index and metadata from df2
df_result=df2.copy()

# I know the double loop below is not a clever idea. What is the right way?
for row in df2.index.to_series().unique():
    for col in df2.columns:
        #df2 can contain missing values
        lenX=np.count_nonzero(df2.ix[row[:1],col].notnull().values.ravel())
        X=np.array(range(lenX)).reshape(lenX,1)
        y=df2.ix[row[:1],col]
        y=y[y.notnull()]

        # train the model
        regr.fit(X,y)

        df_result.ix[row[:1],col][:lenX] = regr.predict(X)

问题是上面的双循环使得计算速度很慢，100kb的数据集需要十多分钟。执行此操作的 pythonic 方法是什么？

编辑：

上面代码最后一行的第二个问题是我正在处理数据帧切片的副本。此操作未更新 "df_result" 的某些列。

编辑2：

原始数据的某些列可能包含缺失值，我们不能直接对其进行回归。例如，

df2.ix[('X','1','1997-12-31')]['A']=np.nan
df2.ix[('Y','1','1998-12-31')]['A']=np.nan

Answer 1

我不太明白行循环。

无论如何，为了保持数字的一致性，我将 np.random.seed(1) 放在顶部

简而言之，我认为您可以通过函数、groupby 和调用 .transform() 来实现您想要的。

def do_regression(y):
    X=np.array(range(len(y))).reshape(len(y),1)
    regr.fit(X,y)
    return regr.predict(X)

df_regressed = df2.groupby(level=[0,1]).transform(do_regression)

print df_regressed.head()

                       A         B
X 1 1997-01-31  0.779476 -1.222119
    1997-02-28  0.727184 -1.138630
    1997-03-31  0.674892 -1.055142
    1997-04-30  0.622601 -0.971653
    1997-05-31  0.570309 -0.888164

与您的 df_result 输出匹配。

print df_result.head()

                       A         B
X 1 1997-01-31  0.779476 -1.222119
    1997-02-28  0.727184 -1.138630
    1997-03-31  0.674892 -1.055142
    1997-04-30  0.622601 -0.971653
    1997-05-31  0.570309 -0.888164

哦，还有几个替代方案：

X=np.array(range(len(y))).reshape(len(y),1)

1.) X = np.expand_dims(range(len(y)), axis=1)
2.) X = np.arange(len(y))[:,np.newaxis]

为空数据编辑

好的 2 条建议：

使用插值法填充空值合法吗？

df2 = df2.interpolate()

或

对非空值进行回归，然后在适当的索引位置弹出空值

   def do_regression(y):

        x_s =np.arange(len(y))
        x_s_non_nulls =  x_s[y.notnull().values]
        x_s_non_nulls = np.expand_dims(x_s_non_nulls, axis=1)

        y_non_nulls = y[y.notnull()]  # get the non nulls

        regr.fit(x_s_non_nulls,y_non_nulls)  # regression
        results = regr.predict(x_s_non_nulls)

        #pop back in then nulls.
        for idx in np.where(y.isnull().values ==True):
            results = np.insert(results,idx,np.NaN)

        return results

将函数应用于多索引多列数据帧的 Pythonic 方法是什么？

What is the Pythonic way to apply a function to multi-index multi-columns dataFrame?

python

numpy

linear-regression

pandas

scikit-learn

为空数据编辑