随机特征映射

Question

我正在上机器学习课程在练习 2 的第二部分中，我们应该使用特征图。他们通过将特征映射到 x1 和 x2 的所有多项式项直到六次方来添加新特征。然而，我的导师告诉我，我不应该使用这个算法，而应该随机添加特征。但是，我们添加新功能是为了更好 classify.So 随机添加功能不会使事情变得更复杂吗？那么我们可以随机添加特征还是应该遵循一些规则？

Answer 1

添加新特征（例如现有特征的多项式）有助于通过使用复杂的假设来减少错误。但这可能会导致训练数据过度拟合，并且可能无法在测试集上产生有效的结果。

因此，为了添加新功能，应考虑以下内容：

1) 手动 select 通过分析结果保留哪些特征。

2) 另一种方法是使用所有特征，然后使用正则化，这将自动降低对贡献较少的特征的重要性，而更重视对目标变量贡献较大的特征。

3) 随机 selecting 功能可能总是有用，也可能不会总是有用。总是需要选择那些对目标变量贡献更大的特征。随机 selection 可能不是合适的解决方案。

重要提示

在训练过程中始终使用验证集来检查错误。 在使用多项式特征时，始终检查学习曲线以查看模型不应过度拟合训练数据。如果发生这种情况，请尝试增加正则化参数 (lambda)。正则化有助于减少过度拟合。