并行处理-R中的FOREACH和for loop

并行处理-R中的FOREACH和for loop,r,for-loop,foreach,parallel-processing,R,For Loop,Foreach,Parallel Processing,我想生产一个矩阵,我把生产过程放在下面。但这太耗时间了。 使用foreach和并行处理是否有其他方法可以更快地获得相同的结果 “”“ 库(“foreach”) 图书馆(“双平行”) lambdas=seq(0.01,7,by=0.01) cl你不需要并行处理,你只需要一个复杂度小于(O**4)的算法和一个缓慢的运算来组成这个矩阵 通过重复排序四个向量可以很容易地构造相同的矩阵。但是,在您的情况下,对于700**4=2.4e+11个元素,这可能需要一些时间 我用向量lambdas(总共2401个元

我想生产一个矩阵,我把生产过程放在下面。但这太耗时间了。 使用foreach和并行处理是否有其他方法可以更快地获得相同的结果

“”“

库(“foreach”)
图书馆(“双平行”)
lambdas=seq(0.01,7,by=0.01)

cl你不需要并行处理,你只需要一个复杂度小于(O**4)的算法和一个缓慢的运算来组成这个矩阵

通过重复排序四个向量可以很容易地构造相同的矩阵。但是,在您的情况下,对于700**4=2.4e+11个元素,这可能需要一些时间

我用向量
lambdas
(总共2401个元素)中的7个不同值来说明该算法

如果您的内存足够大,可以对长度大于10**10的向量进行排序,那么您可以立即对lambda执行700个步骤。
不需要任何for循环。

rbind
复制每个对象并附加到它。这是最不有效的方法之一。在这一点上,我建议阅读。看起来你的代码非常类似于
as.matrix(expand.grid(lambdas,lambdas,lambdas,lambdas))[,4:1]
,所以这可能是一个很好的起点。但是,您的示例的输出将是一个包含240100000000行和四列的矩阵,这可能超出了您的计算机的创建能力。您可能需要后退一步,并想一种不同的方法来解决此问题谢谢你们两位。@Miff我使用了您的建议ion,再次感谢你。我在64gb Ram pc上工作,能够生成200^4 x 4矩阵。我将“lambdas”设置为
lambdas=seq(0.01,2,by=0.01)res=as.matrix(expand.grid(lambdas,lambdas,lambdas,lambdas))[,4:1]
。当我尝试lambdas=seq(0.01,3,by=0.01)它给出了一个错误。那么有没有办法通过拆分来产生这个结果呢?非常感谢!亲爱的马丁,我的内存不够大。有没有办法我可以单独做,然后再合并,得到相同的顺序?不太可能。但是有可能有一种方法可以完成你想要做的事情,而不必创建这个庞大的矩阵。再次感谢你。我尝试了为了找到满足某些条件的lambda值。当我有lambdas.total时,我将运行下面的代码。
mylist_095所以我想没有其他方法了。
library("foreach")
library("doParallel")
lambdas=seq(0.01,7, by = 0.01)

cl <- makeCluster(2) # create a cluster with 2 cores
registerDoParallel(cl) # register the cluster
nlambdas <-foreach(i = 1:1, .inorder=FALSE ,.combine = 'cbind', .multicombine=TRUE, .packages = "quantreg") %dopar% {
  first<-rep()
  second<-rep()
  third<-rep()
  fourth<-rep()
  for (m in 1:700) {
    for (j in 1:700) {
      for (n in 1:700) {
        for (k in 1:700) {
          first<-rbind(first,lambdas[m])
          second<-rbind(second,lambdas[j])
          third<-rbind(third,lambdas[n])
          fourth<-rbind(fourth,lambdas[k])
        }      
      }
    }
  }
  lambda_total<-cbind(first,second,third,fourth)
}

stopCluster(cl)
nsteps = 7
lambdas = seq(0.01,7,(7/nsteps))

h = rep(lambdas,nsteps**3)
i = rep(lambdas,nsteps**3)
j = rep(lambdas,nsteps**3)
k = rep(lambdas,nsteps**3)

ordering = order(k)

k = k[ordering]
k = k[ordering]
k = k[ordering]
k = k[ordering]

j = j[ordering]
j = j[ordering]
j = j[ordering]

i = i[ordering]
i = i[ordering]

h = h[ordering]

lambdas.total = cbind(first=h,second=i,third=j,fourth=k)