Pyspark 如何提取HDFS中保存的部分文件并将其另存为csv？_Pyspark_Hdfs

Pyspark 如何提取HDFS中保存的部分文件并将其另存为csv？

pyspark

Pyspark 如何提取HDFS中保存的部分文件并将其另存为csv？,pyspark,hdfs,Pyspark,Hdfs,我的设备文件保存在HDFS中，我需要从保存的文件中提取100行并在本地文件系统中另存为csv 我试过这个命令： hdfs dfs -text /path to hdfs/Device/* > DEvice.csv 这将从Hadoop文件中解压缩前100行，并将它们存储到本地文件系统中的csv文件中如果它解决了您的问题，请标记为“回答”： hdfs dfs -copyToLocal /path_to_hdfs/Device/* path_to_local_file.csv | head

我的设备文件保存在HDFS中，我需要从保存的文件中提取100行并在本地文件系统中另存为csv

我试过这个命令：

hdfs dfs -text /path to hdfs/Device/* > DEvice.csv

这将从Hadoop文件中解压缩前100行，并将它们存储到本地文件系统中的csv文件中

如果它解决了您的问题，请标记为“回答”：

hdfs dfs -copyToLocal /path_to_hdfs/Device/* path_to_local_file.csv | head -100

 hdfs dfs -text /path to hdfs/Device/* | head -100 > DEvice.csv