使用新数据流沿着 major_axis 增加一个 pandas 面板？

Question

我的应用程序有一个表单传入数据流

name, datetime, {x, y, z}

或者换句话说，我收到单行数据，列为 name, datetime, x, y, z。我每隔几分钟就会收到大量数据，其中一些是新的。

我想将此数据存储在 pandas Panel 中。这个储物面板的结构是这样的

panel.items       - [name_1,name_2,...,name_n]
panel.major_axis  - [datetime1,datetime2,...datetime_m]
panel.minor_axis  - [x, y, z]

似乎 Panel 出于效率原因，对象的大小调整不是很好。但是，不可能知道 datetimes 和 major_axis 将包含什么。我什至有可能在之前的 datetime 之间收到一个新的 datetime。

我知道items和minor_axis会包含什么（尽管没有这个限制我会更开心）。

我想根据需要增加这个储物面板。速度不是问题。使用可转换为面板的其他容器类型向其他人开放。有什么建议吗？

想法

我正在尝试将数据临时存储到 dict-of-dict-of-dict 结构中，也许在每次突发后转换为 Panel，然后以某种方式将其与存储组合 Panel.

old_panel = old_panel.set_value(item, major, minor, value) 似乎没有像文档中那样工作，而且每次都创建一个新面板似乎太过分了（因为旧面板可能很大）。

Answer 1

我想说暂时放弃面板并使用带有 pd.Multi-Index

的数据框

示例数据
假设 'x', 'y', 'z' 出现在一个元组中

data = [
    ['a', pd.Timestamp('2016-03-31'), (1, 2, 3)],
    ['a', pd.Timestamp('2016-04-30'), (1, 2, 3)],
    ['a', pd.Timestamp('2016-07-31'), (1, 2, 3)],
    ['a', pd.Timestamp('2016-05-31'), (1, 2, 3)],
    ['b', pd.Timestamp('2016-03-31'), (1, 2, 3)],
    ['b', pd.Timestamp('2016-05-31'), (1, 2, 3)],
    ['b', pd.Timestamp('2016-08-31'), (1, 2, 3)],
]

构建空数据框

mux = pd.MultiIndex.from_product([list('abc'), list('xyz')])
df = pd.DataFrame(columns=mux)

迭代数据以模拟流数据

for d in data:
    df.loc[d[1], pd.IndexSlice[d[0], list('xyz')]] = d[2]

结果

print(df)

              a              b              c          
              x    y    z    x    y    z    x    y    z
2016-03-31    1    2    3    1    2    3  NaN  NaN  NaN
2016-04-30    1    2    3  NaN  NaN  NaN  NaN  NaN  NaN
2016-07-31    1    2    3  NaN  NaN  NaN  NaN  NaN  NaN
2016-05-31    1    2    3    1    2    3  NaN  NaN  NaN
2016-08-31  NaN  NaN  NaN    1    2    3  NaN  NaN  NaN

你总能得到这样的面板

df.stack().to_panel()

<class 'pandas.core.panel.Panel'>
Dimensions: 3 (items) x 5 (major_axis) x 3 (minor_axis)
Items axis: a to c
Major_axis axis: 2016-03-31 00:00:00 to 2016-08-31 00:00:00
Minor_axis axis: x to z

使用新数据流沿着 major_axis 增加一个 pandas 面板？

Grow a pandas panel along major_axis with a stream of new data?

python

containers

time-series

panel

pandas