如何列出属于一组范围内的所有数字对？

Question

假设我有数据框 df1，其中包含两列 - A 和 B。A 的值表示下限，B 的值表示上限。

我有另一个包含两列的数据框 - C 和 D 包含不同范围的数字。

  C     D
12.34  15.90
13.68  19.13
33.5   35.60
35.12  38.76
50.6   59.1

现在我想列出 df2 中属于 df1 组（在下限和上限之间）的所有对。

最终输出应该是这样的 -

     Key                Values
(10.5, 20.5)  [(12.34, 15.90), (13.68, 19.13)]
(30.5, 40.5)  [(33.5, 35.60), (35.12, 38.76)]
(50.5, 60.5)  [(50.6, 59.1)]

解决方案应该是有效的，因为我有 5000 组范围和来自不同范围的 85000 个数字。

Answer 1

试试下面的代码：

df = pd.DataFrame()
df['Key'] = [(row['A'],row['B']) for idx,row in df1.iterrows()]
values_col_test = [(c1,c2) for c1,c2 in df2.itertuples(index=False)]
values_col = []

for i in range(0,len(values_col_test),2):
     try:
          values_col.append(list(values_col_test[i:i+2]))
     except:
          values_col.append(list(values_col_test[i]))

df['Value'] = values_col
print(df)

输出：

            Key                           Value
0  (10.5, 20.5)   [(2.34, 11.9), (3.68, 19.13)]
1  (30.5, 40.5)  [(33.5, 35.6), (35.12, 38.76)]
2  (50.5, 60.5)                  [(50.6, 59.1)]

Answer 2

它在我的电脑上速度并不快（约 30 秒），但如果您有多个内核，可以使用 multiprocessing 软件包轻松加速。

正在生成数据：

def get_fake(n):
    df = pd.DataFrame(np.random.rand(n * 2).reshape(-1, 2))
    df.loc[:, 1] += 1
    return df

df1 = get_fake(200)
df2 = get_fake(90000)

然后是处理部分：

from collections import defaultdict
result = defaultdict(list)
for index, start, stop in df1.itertuples():
    subdf = df2[(start < df2.iloc[:, 0]) & (df2.iloc[:, 1] < stop)]
    result[(start, stop)] += subdf.values.tolist()

结果是一个字典，但如果需要可以很容易地转换为一个系列。

Answer 3

如果你使用 interval index 会很容易，即

idx = pd.IntervalIndex.from_arrays(df['A'],df['B'])
keys = df.values.tolist()
values = df2.groupby(df.loc[idx.get_indexer(df2['C'])].index).apply(lambda x : x.values)

new_df = pd.DataFrame({'key': keys , 'value': values})

          key                            value
0  [10.5, 20.5]  [[12.34, 15.9], [13.68, 19.13]]
1  [30.5, 40.5]   [[33.5, 35.6], [35.12, 38.76]]
2  [50.5, 60.5]                   [[50.6, 59.1]]

根据间隔索引访问数据将为您提供键，以便您可以进行分组和聚合，即

df.loc[idx.get_indexer(df2['C'])]
     A     B
0  10.5  20.5
0  10.5  20.5
1  30.5  40.5
1  30.5  40.5
2  50.5  60.5

Answer 4

一种解决方案是使用 apply 例如：

# first create your output DF with the keys from your df with A and B
df = pd.DataFrame({'Key':[(a,b) for a,b in df1.itertuples(index=False)]})
# define a function to find the range in df2 within the range from the Keys column
def find_range( key, df_2):
    mask = (key[0] <= df_2['C']) & (key[1] >= df_2['D'])
    return [(c,d) for c,d in df_2[mask].itertuples(index=False)]
#now create the column Values with apply
df['Values'] = df['Key'].apply(find_range, args=(df2,))
# output
            Key                           Values
0  (10.5, 20.5)  [(12.34, 15.9), (13.68, 19.13)]
1  (30.5, 40.5)                   [(33.5, 35.6)]

注意：我假设在你的数据中 C 列总是低于 D，如果不是，你必须更改函数中的掩码以检查 C 和 D 是否都在 key[0] 和 key[1] 内].另外，我没有你所有的输入，所以第 1 行的值与你显示的不同，但只是输入差异。

如何列出属于一组范围内的所有数字对？

How to list all the pairs of numbers which fall under a group of range?

python

performance

pandas

data-science