如果CSV上没有标题,则在pyspark中读取CSV

如果CSV上没有标题,则在pyspark中读取CSV,pyspark,rdd,Pyspark,Rdd,如何从没有标题的CSV文件创建RDD,以及如何在列上组合2个RDD。不使用sparksql rdd1 = sc.textFile('transactions.csv') 这取决于您想要的是数据帧还是RDD。如果是前者,请尝试: spark.read.format("csv").option("header", "false").load("transactions.csv") 列将自动生成。如果是后者,请执行以下操作: rdd1 = sc.textFile('transactions.csv

如何从没有标题的CSV文件创建RDD,以及如何在列上组合2个RDD。不使用sparksql

rdd1 = sc.textFile('transactions.csv')

这取决于您想要的是数据帧还是RDD。如果是前者,请尝试:

spark.read.format("csv").option("header", "false").load("transactions.csv")
列将自动生成。如果是后者,请执行以下操作:

rdd1 = sc.textFile('transactions.csv').map(lambda row: row.split(","))