Optimization 如果我能计算梯度和Hessian,牛顿方法会显著优于BFGS/L-BFGS吗?

Optimization 如果我能计算梯度和Hessian,牛顿方法会显著优于BFGS/L-BFGS吗?,optimization,newtons-method,automatic-differentiation,Optimization,Newtons Method,Automatic Differentiation,我有一个三参数估计问题(因此维数很低,内存不是问题),其中目标函数和梯度+hessians的计算速度很慢,因为这是蒙特卡罗模拟的结果。然而,我的代码是这样实现的,我可以使用自动微分得到梯度+黑森,这应该比基于有限差分的近似更好 因此,我想做尽可能少的迭代,aka。函数和梯度/黑森评价尽可能达到最佳。那么,牛顿-拉斐逊方法会是一种可行的方法吗,用一个AD生成的黑森方法

我有一个三参数估计问题(因此维数很低,内存不是问题),其中目标函数和梯度+hessians的计算速度很慢,因为这是蒙特卡罗模拟的结果。然而,我的代码是这样实现的,我可以使用自动微分得到梯度+黑森,这应该比基于有限差分的近似更好

因此,我想做尽可能少的迭代,aka。函数和梯度/黑森评价尽可能达到最佳。那么,牛顿-拉斐逊方法会是一种可行的方法吗,用一个AD生成的黑森方法