Pandas 多索引 DataFrame 到 Numpy Ndarray

Question

我正在尝试将多索引 pandas DataFrame 转换为 numpy.ndarray。数据框如下：

               s1  s2   s3   s4
Action State                   
1      s1     0.0   0  0.8  0.2
       s2     0.1   0  0.9  0.0
2      s1     0.0   0  0.9  0.1
       s2     0.0   0  1.0  0.0

我希望结果 numpy.ndarray 与 np.shape() = (2,2,4) 如下：

[[[ 0.0  0.0  0.8  0.2 ]
  [ 0.1  0.0  0.9  0.0 ]]

 [[ 0.0  0.0  0.9  0.1 ]
  [ 0.0  0.0  1.0  0.0]]]

我试过 df.as_matrix() 但是这个 returns:

 [[ 0.   0.   0.8  0.2]
  [ 0.1  0.   0.9  0. ]
  [ 0.   0.   0.9  0.1]
  [ 0.   0.   1.   0. ]]

如何 return 第一级的列表列表，每个列表代表 Action 条记录。

Answer 1

一种方式

In [151]: df.groupby(level=0).apply(lambda x: x.values.tolist()).values
Out[151]:
array([[[0.0, 0.0, 0.8, 0.2], 
        [0.1, 0.0, 0.9, 0.0]],
       [[0.0, 0.0, 0.9, 0.1],
        [0.0, 0.0, 1.0, 0.0]]], dtype=object)

Answer 2

您可以使用以下内容：

dim = len(df.index.get_level_values(0).unique())
result = df.values.reshape((dim1, dim1, df.shape[1]))
print(result)
[[[ 0.   0.   0.8  0.2]
  [ 0.1  0.   0.9  0. ]]

 [[ 0.   0.   0.9  0.1]
  [ 0.   0.   1.   0. ]]]

第一行只是找到你想要分组的组数。

为什么需要这个（或 groupby）：一旦你使用 .values，你就失去了 pandas 的 MultiIndex 的维数。因此，您需要以某种方式将该维度重新传递给 NumPy。

Answer 3

根据 Divakar 的建议，np.reshape() 成功了：

>>> print(P)

              s1  s2   s3   s4
Action State                   
1      s1     0.0   0  0.8  0.2
       s2     0.1   0  0.9  0.0
2      s1     0.0   0  0.9  0.1
       s2     0.0   0  1.0  0.0

>>> np.reshape(P,(2,2,-1))

[[[ 0.   0.   0.8  0.2]
  [ 0.1  0.   0.9  0. ]]

 [[ 0.   0.   0.9  0.1]
  [ 0.   0.   1.   0. ]]]

>>> np.shape(P)

(2, 2, 4)

Answer 4

详细说明，以获得稍微更通用的解决方案 - 不同大小的索引和不固定数量的索引 - 可以这样做：

def df_to_numpy(df):
    try:
        shape = [len(level) for level in df.index.levels]
    except AttributeError:
        shape = [len(df.index)]
    ncol = df.shape[-1]
    if ncol > 1:
        shape.append(ncol)
    return df.to_numpy().reshape(shape)

如果 df 缺少子索引 reshape 将不起作用。添加它们的一种方法是（也许有更好的解决方案）：

def enforce_df_shape(df):
    try:
        ind = pd.MultiIndex.from_product([level.values for level in df.index.levels])
    except AttributeError:
        return df
    fulldf = pd.DataFrame(-1, columns=df.columns, index=ind)  # remove -1 to fill fulldf with nan
    fulldf.update(df)
    return fulldf

Pandas 多索引 DataFrame 到 Numpy Ndarray

Pandas Multi-Index DataFrame to Numpy Ndarray

python

numpy

multi-index

pandas