超参调优时简单参数是否也发生变化
Does the simple parameters also change during Hyper-parameter tuning
在超参数调整过程中，参数（在模型训练期间已经学习的权重）是否也被优化，或者它们是固定的并且只为超参数找到最优值？请解释。
短路是NO，它们不是固定的。
因为，超参数直接影响您的简单参数。所以对于神经网络来说，没有使用隐藏层是一个超参数，而每一层的权重和偏差都可以称为简单参数。当然，当网络的层数（超参数）本身是可变的时，你不能让各个层的权重保持不变。与线性回归类似，您的正则化超参数直接影响学习的权重。
因此调整超参数的目标是获得一个值，该值会导致那些 简单参数 的最佳集合。那些简单的参数才是你真正关心的，也是最终要用到的prediction/deployment。所以在保持超参数不变的情况下调整超参数是没有意义的。
在超参数调整过程中，参数（在模型训练期间已经学习的权重）是否也被优化，或者它们是固定的并且只为超参数找到最优值？请解释。
短路是NO，它们不是固定的。
因为，超参数直接影响您的简单参数。所以对于神经网络来说，没有使用隐藏层是一个超参数，而每一层的权重和偏差都可以称为简单参数。当然，当网络的层数（超参数）本身是可变的时，你不能让各个层的权重保持不变。与线性回归类似，您的正则化超参数直接影响学习的权重。
因此调整超参数的目标是获得一个值，该值会导致那些 简单参数 的最佳集合。那些简单的参数才是你真正关心的，也是最终要用到的prediction/deployment。所以在保持超参数不变的情况下调整超参数是没有意义的。