将数据分箱到二维数组中

Question

我正在计算两个距离并在二维数组中以 0.1 的间隔将它们装箱。目前我正在这样做。然而，大量的点数需要花费大量时间

import numpy as np
from scipy.spatial import distance as d
dat=np.random.rand(100,3)
dd2d=np.zeros((10,10))
while len(dat)>0:
    i=len(dat)-1
    while i>0:
        dist0=d.euclidean(dat[0],dat[i])
        dist1=d.cosine(dat[0],dat[i])
        ind0=int(dist0/0.1)
        ind1=int(dist1/0.1)
        if ind0>9 or ind1>9:
            pass
        else:
            dd2d[ind0,ind1]+=1
        i-=1
    dat=np.delete(dat,0,axis=0)
    print len(dat)

最有效的方法是什么？

另外，如何将代码中的 while 循环转换为 for 循环，以便我可以添加 progressbar/tqdm 来跟踪运行时间。

Answer 1

如果您已经在导入 scipy.spatial.distance，不妨使用 pdist。然后你只是制作一个二维直方图。使用 np.histogram2d。

def binDists2d(dat, f1 = 'euclidean', f2 = 'cosine'):
    dist0 = d.pdist(dat, f1)
    dist1 = d.pdist(dat, f2)
    rng = np.array([[0, 1], [0, 1]])
    return np.histogram2d(dist0, dist1, bins = 10, range = rng)

pdist 仅 returns 上三角元素。如果您想手动执行此操作，请使用 np.triu_indices，如果 scipy 不可用，您可以使用它来生成距离。

def cosdist(u, v):
    return 1 - u.dot(v) / (np.linalg.norm(u) * np.linlg.norm(v))

def binDists2d(dat, f0 = lambda u, v: np.linalg.norm(u - v), f1 = cosdist):
    i, j = np.triu_indices(dat.shape[0], 1)
    dist0 = f0(dat[i], dat[j])
    dist1 = f1(dat[i], dat[j])
    rng = np.array([[0, 1], [0, 1]])
    return np.histogram2d(dist0, dist1, bins = 10, range = rng)

编辑： 较少内存消耗的版本：

def binDists2d(dat, f0, f1, n = 1, bins = 10, rng = np.array([[0, 1], [0, 1]])):
    i_, j_ = np.triu_indices(dat.shape[0], 1)
    out = np.zeros((bins, bins))
    i_, j_ = np.array_split(i_, n), np.array_split(j_, n)
    for k, (i, j) in enumerate(zip(i_, j_)):
        dist0 = f0(dat[i], dat[j])
        dist1 = f1(dat[i], dat[j])
        out += np.histogram2d(dist0, dist1, bins = bins, range = rng)
        print(str(k) + " of " + str(n) + "completed")
    return out

将数据分箱到二维数组中

binning data live into a 2D array

python

arrays

numpy

binning