如何直接在 Pandas DataFrame 中的 PDF 上计算统计指标？

Question

假设我已经在 Pandas DataFrame 中有一个 PDF（概率密度函数）。

import pandas as pd
import numpy as np
from scipy import stats

df = pd.DataFrame([1,2,3,4,5,6,5,4,3,2], index=np.linspace(21,30,10), columns=['days'])
df.index.names=['temperature']
print(df)
             days
temperature      
21.0            1
22.0            2
23.0            3
24.0            4
25.0            5
26.0            6
27.0            5
28.0            4
29.0            3
30.0            2

如果我想计算偏度等指标，我必须像这样将 PDF 转换回原始数据：

temp_history = []
for i in df.iterrows():
    temp_history += i[1][0] * [i[0]]

print(temp_history)
[21.0, 22.0, 22.0, 23.0, 23.0, 23.0, 24.0, 24.0, 24.0, 24.0, 25.0, 25.0, 25.0, 25.0, 25.0, 26.0, 26.0, 26.0, 26.0, 26.0, 26.0, 27.0, 27.0, 27.0, 27.0, 27.0, 28.0, 28.0, 28.0, 28.0, 29.0, 29.0, 29.0, 30.0, 30.0]

skew = stats.skew(temp_history)

有什么方法可以不用创建 temp_history 就可以计算指标吗？谢谢！

编辑：我想避免以任何形式创建原始数据的原因是我不想在 days 列中的数字变大时丢失大量内存。

Answer 1

使用-

df.reindex(df.index.repeat(df['days'])).reset_index()['temperature'].skew()

或

坚持你原来的实现 -

stats.skew(df.reindex(df.index.repeat(df['days'])).reset_index()['temperature'])

如果您想知道输出不匹配的原因，请参阅

要匹配两者，请在 stats.skew()

中设置 bias=False

如何直接在 Pandas DataFrame 中的 PDF 上计算统计指标？

How to calculate statistical metrics directly on a PDF in Pandas DataFrame?

python

numpy

data-analysis

scipy

pandas