Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
将Spark数据帧更改为标准R数据帧_R_Apache Spark - Fatal编程技术网

将Spark数据帧更改为标准R数据帧

将Spark数据帧更改为标准R数据帧,r,apache-spark,R,Apache Spark,我正在使用DataRicks,并从DataLake上传了一个外部文件。我使用SparkR库使用以下代码导入数据: df = read.df("adl://test.azuredatalakestore.net/test.csv", source = 'csv', header = TRUE) 这是一个Spark数据帧,它限制了我对它进行一些操作。我无法使用read.csv导入文件,因此有没有办法将其更改为普通数据帧,以便执行一些更改 如果您的数据适合内存,您可以执行以下操作: local_d

我正在使用DataRicks,并从DataLake上传了一个外部文件。我使用SparkR库使用以下代码导入数据:

df = read.df("adl://test.azuredatalakestore.net/test.csv", source = 'csv', header = TRUE)

这是一个Spark数据帧,它限制了我对它进行一些操作。我无法使用read.csv导入文件,因此有没有办法将其更改为普通数据帧,以便执行一些更改

如果您的数据适合内存,您可以执行以下操作:

 local_df <- collect(df)

我不得不重新启动一切,然后再试一次。它现在可以工作了,谢谢。这会将所有数据转储到驱动程序中,所以如果spark DF很大,内存可能会导致崩溃。如果要查看数据,请尝试查看其顶部的几行或示例。若你们想看到完整的数据,最好把spark DF写进hive表,并在那个里看到。事实上,@abhiieor我违背自己的意愿写下了那个答案。但我知道如果我不这样做,其他聪明人会这么做的。最终OP会发现他试图做的是一个不好的练习。事实上我不想玩smart-a**这就是为什么不标记你,而是给OP更多的建议,如果他是新加入spark的话。为什么不用正反两方面来完成这个答案呢?我不是指你@abhiieor:我是温和的。我指的那些人会知道他们自己。我稍后会完成我的回答。我在上下班。