scipy.optimize.minimize : 一起计算 hessian 和梯度

Question

scipy.optimize.minimize 函数实现的功能基本上等同于 MATLAB 的 'fminunc' 函数，用于查找函数的局部最小值。

在scipy中，梯度函数和Hessian函数是分开的。

res = minimize(rosen, x0, method='Newton-CG',
...                jac=rosen_der, hess=rosen_hess,
...                options={'xtol': 1e-30, 'disp': True})

但是，我有一个函数，其 Hessian 和梯度共享相当多的计算，为了提高效率，我想一起计算 Hessian 和梯度。在fminunc中，objective函数可以写入return多个值，即：

function [ q, grad, Hessian ] = rosen(x)

有没有什么好的方法可以将函数传递给 scipy.optimize.minimize 来一起计算这些元素？

Answer 1

您可以寻求缓存解决方案，但首先 numpy 数组不可散列，其次您只需要缓存一些值，具体取决于算法是否在 x 上来回多次。如果算法仅从一个点移动到下一个点，则您可以仅以这种方式缓存最后一个计算点，您的 f_hes 和 f_jac 只是 lambda 接口到一个更长的函数计算：

import numpy as np

# I choose the example f(x,y) = x**2 + y**2, with x,y the 1st and 2nd element of x below:
def f(x):
    return x[0]**2+x[1]**2

def f_jac_hess(x):
    if all(x==f_jac_hess.lastx):
        print('fetch cached value')
        return f_jac_hess.lastf
    print('new elaboration')
    res = array([2*x[0],2*x[1]]),array([[2,0],[0,2]])

    f_jac_hess.lastx = x
    f_jac_hess.lastf = res

    return res

f_jac_hess.lastx = np.empty((2,)) * np.nan

f_jac = lambda x : f_jac_hess(x)[0]
f_hes = lambda x : f_jac_hess(x)[1]

现在第二次调用将缓存保存的值：

>>> f_jac([3,2])
new elaboration
Out: [6, 4]
>>> f_hes([3,2])
fetch cached value
Out: [[2, 0], [0, 2]]

然后您将其命名为：

minimize(f,array([1,2]),method='Newton-CG',jac = f_jac, hess= f_hes, options={'xtol': 1e-30, 'disp': True})

scipy.optimize.minimize : 一起计算 hessian 和梯度

scipy.optimize.minimize : compute hessian and gradient together

python

optimization

matlab

numpy

scipy