Optimization R：快速多元优化软件包？

我希望找到4个变量的标量函数的局部最小值，并且我对变量有范围约束（“框约束”）。函数导数没有封闭形式，因此不可能使用需要解析导数函数的方法。我用

optim

函数尝试了几个选项和控制参数，但它们看起来都很慢。具体来说，他们似乎在调用我的（R定义的）目标函数之间花费了大量时间，因此我知道瓶颈不是我的目标函数，而是调用我的目标函数之间的“思考”。我查看了CRAN任务视图以进行优化，并尝试了其中的几个选项（

RcppDE

中的

DEOptim

等），但没有一个是好的。我本想尝试一下

nloptr

包（NLOPT库的R包装器），但它似乎不适用于windows

我想知道，有没有什么好的，快速的优化包，人们使用，我可能会错过？理想情况下，这些将是围绕好的C++/Fortran库的薄包装形式，因此只有最少的纯R代码。（虽然这不应该相关，但我的优化问题是在尝试通过最小化某个拟合优度度量将4参数分布拟合到一组值时出现的）

过去，我发现R的优化库相当慢，最后写了一个瘦的R包装器，调用了一个商业优化库的C++ API。那么，最好的图书馆一定是商业图书馆吗

更新。以下是我正在查看的代码的简化示例：

###########
## given a set of values x and a cdf, calculate a measure of "misfit":
## smaller value is better fit
## x is assumed sorted in non-decr order;
Misfit <- function(x, cdf) {
  nevals <<- nevals + 1
  thinkSecs <<- thinkSecs + ( Sys.time() - snapTime)
  cat('S')
  if(nevals %% 20 == 0) cat('\n')
  L <- length(x)
  cdf_x <- pmax(0.0001, pmin(0.9999, cdf(x)))
  measure <- -L - (1/L) * sum( (2 * (1:L)-1 )* ( log( cdf_x ) + log( 1 - rev(cdf_x))))
  snapTime <<- Sys.time()
  cat('E')
  return(measure)  
}
## Given 3 parameters nu (degrees of freedom, or shape), 
## sigma (dispersion), gamma (skewness),
## returns the corresponding 4-parameter student-T cdf parametrized by these params
## (we restrict the location parameter mu to be 0).
skewtGen <- function( p ) {
  require(ghyp)
  pars = student.t( nu = p[1], mu = 0, sigma = p[2], gamma = p[3] )
  function(z) pghyp(z, pars)
}

## Fit using optim() and BFGS method
fit_BFGS <- function(x, init = c()) {
  x <- sort(x)
  nevals <<- 0
  objFun <- function(par) Misfit(x, skewtGen(par))
  snapTime <<- Sys.time() ## global time snap shot
  thinkSecs <<- 0 ## secs spent "thinking" between objFun calls
  tUser <- system.time(
              res <- optim(init, objFun,
                           lower = c(2.1, 0.1, -1), upper = c(15, 2, 1),
                           method = 'L-BFGS-B',
                           control = list(trace=2, factr = 1e12, pgtol = .01 )) )[1]
  cat('Total time = ', tUser, 
      ' secs, ObjFun Time Pct = ', 100*(1 - thinkSecs/tUser), '\n')
  cat('results:\n')
  print(res$par)
}

fit_DE <- function(x) {
  x <- sort(x)
  nevals <<- 0
  objFun <- function(par) Misfit(x, skewtGen(par))
  snapTime <<- Sys.time() ## global time snap shot
  thinkSecs <<- 0 ## secs spent "thinking" between objFun calls
  require(RcppDE)
  tUser <- system.time(
              res <- DEoptim(objFun,
                             lower = c(2.1, 0.1, -1),
                             upper = c(15, 2, 1) )) [1]
  cat('Total time = ',             tUser,
      ' secs, ObjFun Time Pct = ', 100*(1 - thinkSecs/tUser), '\n')
  cat('results:\n')
  print(res$par)
}

现在，我尝试以另一种方式拟合分布：通过最小化上面定义的“不匹配”度量，使用base R中的标准

optim（）

函数。请注意，结果通常不会相同。我这样做的原因是比较这两个结果对整个班级的情况。我将上面的最大似然估计作为优化的起点

> fit_BFGS( x, init = c(pars$nu, pars$sigma, pars$gamma) )
N = 3, M = 5 machine precision = 2.22045e-16
....................
....................
.........
iterations 5
function evaluations 7
segments explored during Cauchy searches 7
BFGS updates skipped 0
active bounds at final generalized Cauchy point 0
norm of the final projected gradient 0.0492174
final function value 0.368136

final  value 0.368136 
converged
Total time =  41.02  secs, ObjFun Time Pct =  99.77084 
results:
[1] 3.2389296 1.5483393 0.1161706

---

我还试图适应

DEoptim（）

，但它运行时间太长，我不得不杀死它。从上面的输出可以看出，99.8%的时间是由目标函数造成的！因此，德克和迈克在下面的评论中是正确的。我应该更仔细地估计在目标函数中花费的时间，而打印点不是一个好主意！此外，我怀疑MLE（E-M）方法非常快，因为它使用对数似然函数的分析（闭合形式）。

最大似然估值器，当它针对您的问题存在时，在任何语言中总是比全局优化器更快

一个全局优化器，不管算法如何，通常都会将一些随机跳跃与局部最小化例程结合起来。不同的算法可能会从种群（遗传算法）、退火、迁移等方面对此进行讨论，但它们在概念上都是相似的

在实践中，这意味着如果你有一个平滑的函数，其他一些优化算法可能是最快的。问题函数的特征将决定这是二次型、线性型、圆锥型还是存在精确（或接近精确）解析解的其他类型的优化问题，或者是否需要应用速度必然较慢的全局优化器

通过使用ghyp，你说你的4变量函数产生的输出可能适合广义双曲分布，你使用的是最大似然估计，以找到与你提供的数据最接近的广义双曲分布。但如果你这样做，恐怕我不明白你怎么会有一个需要优化的非光滑表面

> fit_BFGS( x, init = c(pars$nu, pars$sigma, pars$gamma) )
N = 3, M = 5 machine precision = 2.22045e-16
....................
....................
.........
iterations 5
function evaluations 7
segments explored during Cauchy searches 7
BFGS updates skipped 0
active bounds at final generalized Cauchy point 0
norm of the final projected gradient 0.0492174
final function value 0.368136

final  value 0.368136 
converged
Total time =  41.02  secs, ObjFun Time Pct =  99.77084 
results:
[1] 3.2389296 1.5483393 0.1161706

---

通常，需要根据您的问题选择优化器。在任何编程语言中都没有完美的“最优优化器”，选择适合您的问题的优化算法可能会比实现的任何微小低效带来更大的不同。

DEoptim和RcppDE本质上是对差分进化算法的C实现进行包装。这两个包中都有非常少的R代码。我很好奇你是怎么确定它们没有什么好的。RcppDE用C++实现了同样的算法。Prasad可以用这个包作为模板来包装另一个他也可以访问的优化器。@Dirk:我只是注意到他们包装的历史记录。你怎么知道花在你的优化器函数上的时间百分比很小？如果你在它运行时随机暂停10次，你会得到一个很好的百分比粗略测量值。@Joshua这是一个很好的问题——当我使用MLE方法（在

ghyp

包中）拟合分布时，对于10000个点，它在5秒内拟合，然而，当我试图通过最小化拟合优度函数来拟合它时，使用

optim+L-BFGS-B

至少需要2分钟（不完全确定，因为我经常只是杀死它）。与RcppDE/DEOptim相同。换句话说，我的速度预期是由MLE的工作速度设定的。我可能对MLE很幼稚，需要更好地理解为什么它比最小化拟合优度度量更快。

> fit_BFGS( x, init = c(pars$nu, pars$sigma, pars$gamma) )
N = 3, M = 5 machine precision = 2.22045e-16
....................
....................
.........
iterations 5
function evaluations 7
segments explored during Cauchy searches 7
BFGS updates skipped 0
active bounds at final generalized Cauchy point 0
norm of the final projected gradient 0.0492174
final function value 0.368136

final  value 0.368136 
converged
Total time =  41.02  secs, ObjFun Time Pct =  99.77084 
results:
[1] 3.2389296 1.5483393 0.1161706