Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/r/66.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
R-生成'时克服内存限制;交互变量';_R_Bigdata - Fatal编程技术网

R-生成'时克服内存限制;交互变量';

R-生成'时克服内存限制;交互变量';,r,bigdata,R,Bigdata,我想运行正则化回归(例如套索)。我的数据集包含50k个观测值和500个变量(x1、x2、…x500) 我正在尝试生成一个矩阵,该矩阵捕获每个x变量(即x1*x2、x1*x3…x499*n500)之间所有可能的交互项。我认识到这将是一个非常大的矩阵(42k行,125k列),并且鉴于我的变量是连续的,我将无法存储为稀疏矩阵。我用来生成此矩阵的代码是: x_interactions <- model.matrix(~.^2, data=x) x_交互您打算对矩阵做什么?我怀疑你能否在内存中保存

我想运行正则化回归(例如套索)。我的数据集包含50k个观测值和500个变量(x1、x2、…x500)

我正在尝试生成一个矩阵,该矩阵捕获每个x变量(即x1*x2、x1*x3…x499*n500)之间所有可能的交互项。我认识到这将是一个非常大的矩阵(42k行,125k列),并且鉴于我的变量是连续的,我将无法存储为稀疏矩阵。我用来生成此矩阵的代码是:

x_interactions <- model.matrix(~.^2, data=x)

x_交互您打算对矩阵做什么?我怀疑你能否在内存中保存如此巨大的对象。我计划使用glmnet软件包将其用于套索回归,但这无疑也会带来内存挑战。看看这里:你打算如何处理你的矩阵?我怀疑你是否能在内存中保存如此巨大的对象。我计划使用glmnet软件包将其用于套索回归,但这无疑也会带来内存挑战。请看这里: