Fatal编程技术网
  • big-o/
  • Big o 使用网格搜索进行超参数调整的计算复杂度是多少？

Big o 使用网格搜索进行超参数调整的计算复杂度是多少？

big-o

Big o 使用网格搜索进行超参数调整的计算复杂度是多少？,big-o,complexity-theory,grid-search,Big O,Complexity Theory,Grid Search,如果我有许多超参数需要调整，每个超参数都可以表示为任意长度的向量，例如神经元数=[4,8,16]，学习率=[0.1,0.01,0.001,0.0001]，那么完整网格搜索的计算复杂度会是多少 在不同超参数的数量上是否为多项式？< P>满网格搜索将考虑所有可能的笛卡尔积。 假设您有长度为n1，n2，…，nk的k列表，那么它将是n1 x n2 x。。。x nk 因此，是的，它是多项式。不，它是指数的，因为网格搜索是蛮力（参见） 如果您有长度为n的k列表₁, …, Nₖ其中min（n₁, …, Nₖ)

如果我有许多超参数需要调整，每个超参数都可以表示为任意长度的向量，例如神经元数=
[4,8,16]
，学习率=
[0.1,0.01,0.001,0.0001]
，那么完整网格搜索的计算复杂度会是多少

在不同超参数的数量上是否为多项式？

< P>满网格搜索将考虑所有可能的笛卡尔积。 假设您有长度为n1，n2，…，nk的
k
列表，那么它将是
n1 x n2 x。。。x nk

因此，是的，它是多项式。

不，它是指数的，因为网格搜索是蛮力（参见）

如果您有长度为
n的
k
列表₁, …, Nₖ其中
min（n₁, …, Nₖ) = a>1然后
T（k）=n₁ ×n₂ ×…×nₖ ∈ Ω（a）ᵏ)