如果CSV上没有标题,则在pyspark中读取CSV
如何从没有标题的CSV文件创建RDD,以及如何在列上组合2个RDD。不使用sparksql如果CSV上没有标题,则在pyspark中读取CSV,pyspark,rdd,Pyspark,Rdd,如何从没有标题的CSV文件创建RDD,以及如何在列上组合2个RDD。不使用sparksql rdd1 = sc.textFile('transactions.csv') 这取决于您想要的是数据帧还是RDD。如果是前者,请尝试: spark.read.format("csv").option("header", "false").load("transactions.csv") 列将自动生成。如果是后者,请执行以下操作: rdd1 = sc.textFile('transactions.csv
rdd1 = sc.textFile('transactions.csv')
这取决于您想要的是数据帧还是RDD。如果是前者,请尝试:
spark.read.format("csv").option("header", "false").load("transactions.csv")
列将自动生成。如果是后者,请执行以下操作:
rdd1 = sc.textFile('transactions.csv').map(lambda row: row.split(","))