用于计算 k 最近邻的距离度量

Question

我正在阅读关于k个最近邻居的信息，示例中给出的距离度量如下。

它说Ri是第i个分量的范围。我对这里使用哪种距离度量感到困惑？我了解欧几里德距离，但似乎并非如此。你能帮忙解释一下 "range of the i-th component" 是什么以及这是哪个距离度量吗？非常感谢。如果需要更多信息，请告诉我。

Answer 1

范围是训练数据集中该特征（列）的最大值和最小值之差。

您可以将其视为 L1 范数，因为我们只取最大值和最小值之间的绝对距离。通常这样做是为了标准化跨特征的距离计算，以便某些特征不应主导距离计算。

Answer 2

给出的公式只是针对欧几里得距离，只是在计算距离时对数据进行了归一化。

KNN 需要对数据进行归一化，因为如果不这样做，则具有较高值的​​特征将在决定输出时占主导地位。 上面的KNN公式省略了显式的归一化步骤，在计算距离的时候原地做。

注意：- 这里，i 表示第 i^th 列而不是行。

这里是公式的实际解释，

R_i = x_i^max - x_i^分钟

在归一化过程中，我们使用以下变换对每一行进行变换，

x_i = x_i / (x_i^max - x_i^min)

因此，当计算距离时公式有效，

d² = ((a₁ - x^min)-(b₁ - x^min))² / R₁² + ((a₂ - x^min)-(b₂ - x^min))² / R₂² + ... + ((a_n - x^min)-(b_n - x^min))² / R_n²

这是有效的，

d² = (a₁ - b₁) ² / R₁² + (a₂ - b₂)² / R₂² + ... + (a _n- b_n)² / R_n²

，如上图所示