Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/293.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python spark dataframe读取不带标题的文本文件_Python_Apache Spark_Dataframe_Pyspark - Fatal编程技术网

Python spark dataframe读取不带标题的文本文件

Python spark dataframe读取不带标题的文本文件,python,apache-spark,dataframe,pyspark,Python,Apache Spark,Dataframe,Pyspark,我有一个没有标题的文本文件,如何使用spark dataframe api读取它并指定标题。有没有办法指定我的模式 样本数据=spark.read.option(“header”、“false”)。文本(样本) 打印“数据大小为{}”。格式(sample_Data.count()) 打印类型(样本数据) 打印样本数据。首先获取(2),将文件保存为csv。您可以指定架构: schema = StructType([ \ StructField("column1", StringType()

我有一个没有标题的文本文件,如何使用spark dataframe api读取它并指定标题。有没有办法指定我的模式

样本数据=spark.read.option(“header”、“false”)。文本(样本)

打印“数据大小为{}”。格式(sample_Data.count())

打印类型(样本数据)


打印样本数据。首先获取(2)

,将文件保存为csv。您可以指定架构:

schema = StructType([ \
    StructField("column1", StringType(), True), \
    StructField("column2", DoubleType(), True), \
    StructField("column3", IntegerType(), True)])
等等。 如果您使用的是spark 2.0+:

spark.read.csv(
    "file.csv", header=True, schema=schema
)
如果您使用的是spark<2.0:

sales = sqlContext.read.format('com.databricks.spark.csv')\
    .options(header='true', delimiter='whatever youre using as delimiter')\
    .load('file.csv', schema = schema)
df=spark.read.format(“com.databricks.spark.csv”).option(“header”、“true”).option(“inferschema”、“true”).option(“mode”、“dropmorformed”).load()
#如果没有架构,则可以将标题设置为false

非常感谢。它的模式部分也可以用python来做吗?我的错..这就是python。
df=spark.read.format("com.databricks.spark.csv").option("header", "true").option("inferschema", "true").option("mode", "DROPMALFORMED").load(<path_name>)
# header can made to false, if there is no schema