训练一个只有一个特征的 SVM 模型可以吗?
Is it okay to train an SVM model with only one feature?
我是机器学习的新手。我正在对一堆特征进行特征选择,一些算法给了我所有特征的排名。然后我尝试只使用最重要的一个特征来训练模型,结果证明交叉验证性能非常好。但我担心仅使用一个特征来训练 SVM 模型是否合适。 (我正在使用 RBF 内核。)
谢谢。
是的,没关系。
基本上,您使用的功能越少越好。
特征的数量必须远少于训练向量的数量。至少少100倍。
但是,如果在您的情况下,您的 C 值非常大而 G 值非常小(即您的模型可能过度拟合),则可能需要添加更多特征。
不要忘记 Jaakkola 的 G 估计启发式:
http://image.diku.dk/shark/sphinx_pages/build/html/rest_sources/tutorials/algorithms/svmModelSelection.html#jaakkola-s-heuristic
并且一定要使用 cross-validation 和 hold-out 验证来避免过度拟合。
我推荐以下这本书:
Max Kuhn • Kjell Johnson,应用预测建模。
ISBN 978-1-4614-6848-6 ISBN 978-1-4614-6849-3(电子书)
DOI 10.1007/978-1-4614-6849-3
Springer New York Heidelberg Dordrecht London
此致,
尼克.
我是机器学习的新手。我正在对一堆特征进行特征选择,一些算法给了我所有特征的排名。然后我尝试只使用最重要的一个特征来训练模型,结果证明交叉验证性能非常好。但我担心仅使用一个特征来训练 SVM 模型是否合适。 (我正在使用 RBF 内核。) 谢谢。
是的,没关系。 基本上,您使用的功能越少越好。 特征的数量必须远少于训练向量的数量。至少少100倍。
但是,如果在您的情况下,您的 C 值非常大而 G 值非常小(即您的模型可能过度拟合),则可能需要添加更多特征。
不要忘记 Jaakkola 的 G 估计启发式: http://image.diku.dk/shark/sphinx_pages/build/html/rest_sources/tutorials/algorithms/svmModelSelection.html#jaakkola-s-heuristic
并且一定要使用 cross-validation 和 hold-out 验证来避免过度拟合。
我推荐以下这本书: Max Kuhn • Kjell Johnson,应用预测建模。 ISBN 978-1-4614-6848-6 ISBN 978-1-4614-6849-3(电子书) DOI 10.1007/978-1-4614-6849-3 Springer New York Heidelberg Dordrecht London
此致, 尼克.