Pyspark 在DSX上导入SparkSession数据帧

Pyspark 在DSX上导入SparkSession数据帧,pyspark,spark-dataframe,data-science-experience,Pyspark,Spark Dataframe,Data Science Experience,我目前正在从事数据科学方面的工作,希望将CSV文件作为SparkSession数据帧导入。我能够成功导入数据帧,但是,所有列属性都转换为字符串类型。如何使此DSX功能识别CSV文件中存在的类型 当前,为实际创建pyspark.sql.DataFrame生成的代码如下所示: df_data_1 = spark.read\ .format('org.apache.spark.sql.execution.datasources.csv.CSVFileFormat')\ .option('hea

我目前正在从事数据科学方面的工作,希望将CSV文件作为SparkSession数据帧导入。我能够成功导入数据帧,但是,所有列属性都转换为字符串类型。如何使此DSX功能识别CSV文件中存在的类型

当前,为实际创建
pyspark.sql.DataFrame
生成的代码如下所示:

df_data_1 = spark.read\
  .format('org.apache.spark.sql.execution.datasources.csv.CSVFileFormat')\
  .option('header', 'true')\
  .load('swift://container_name.' + name + '/test.csv')
df_data_1.take(5)
您必须添加以下选项,然后将推断模式:

.option(inferschema='true')\