如何使用optmi方法梯度函数？

Question

我如何使用 optim() 方法的梯度来使 $f(x) = ax^2+bx+c$ 适合给定的一组 (x,y) 数据？我已经搜索了几个小时，但没有找到合适的解释。 $

我相信梯度函数应该 return 在上述情况下长度为三的向量：拟合度量关于 $a$ 的偏导数，然后关于 $b$，然后是尊重$c$。但我不确定如何执行它。

我有以下 $f(x) = ax^2+bx+c$ 的输入，我的梯度函数正确吗？

{r linewidth=80}
x=c(1:10)
y=c(-0.2499211,-4.6645685,-2.6280750,-2.0146818,1.5632500,0.2043376,2.9151158,  4.0967775,6.8184074,12.5449975)
#find min square distance
my.fit.fun = function(my.par)
{
  sum(sqrt(abs(my.par[1]*x^2+my.par[2]*x+my.par[3]-y^2)))               
}

gradient=function(my.par){
  c(my.par[1]*2,my.par[2],0)
}

optim.out = optim(c(0.2,-4,-5),fn=my.fit.fun, gr=gradient, method = "BFGS")

Answer 1

首先，我宁愿对函数使用平方和而不是绝对值。您可以执行以下操作：

x <- 1:10
y < c(-0.2499211,-4.6645685,-2.6280750,-2.0146818,1.5632500,0.2043376,2.9151158,  4.0967775,6.8184074,12.5449975)

d <- data.frame(x,y)

fun <- function(par, data){
  y_hat <- data$x^2 * par[1] + data$x * par[2] + par[3]
  sum((data$y - y_hat)^2)
}

optim(c(0.2,-4,-5), fun, data = d)
$par
[1]  0.2531111 -1.3135297 -0.6618520

$value
[1] 17.70251

$counts
function gradient 
     176       NA 

$convergence
[1] 0

$message
NULL

我不会使用 optim，而是使用 nls。在这里，您只需提供公式。在这种情况下，我们将有：

nls(y~ a * x^2 + b * x + c, d, c(a=0.2, b=-4, c=-5))
Nonlinear regression model
  model: y ~ a * x^2 + b * x + c
   data: d
      a       b       c 
 0.2532 -1.3147 -0.6579 
 residual sum-of-squares: 17.7

Number of iterations to convergence: 1 
Achieved convergence tolerance: 2.816e-08

另外，为什么要从 0.2,-4, -5 任何先验知识开始？例如，如果您在优化中使用 0,0,0，您将得到 nls 结果

编辑：

既然你想要 BFGS 方法，你可以这样做：

fun <- function(par, data){
  y_hat <- data$x^2 * par[1] + data$x * par[2] + par[3]
  sum((y_hat - data$y)^2)
}

grad <- function(par, data){
  y_hat <-  data$x^2 * par[1] + data$x * par[2] + par[3]
  err <- data$y - y_hat
  -2 * c(sum(err * data$x^2), sum(err * data$x), sum(err))
}
 optim(c(0.2,-4,-5), fun, grad,data = d, method = "BFGS")
$par
[1]  0.2531732 -1.3146636 -0.6579553

$value
[1] 17.70249

$counts
function gradient 
      38        7 

$convergence
[1] 0

$message
NULL

如何使用optmi方法梯度函数？

How to use optmi method gradient function?

parameters

optimization

r

function

distribution