Python 创建Spark数据帧。无法推断类型的架构：<；类型'；浮动'&燃气轮机；

有人能帮我解决Spark DataFrame的这个问题吗

当我执行

myFloatRDD.toDF（）

时，我得到一个错误：

TypeError:无法推断类型“float”的架构

我不明白为什么

例如：

myFloatRdd = sc.parallelize([1.0,2.0,3.0])
df = myFloatRdd.toDF()

---

感谢SparkSession。在引擎盖下使用的createDataFrame，需要一个

RDD

/

列表

行/

元组

/

列表

/

dict

*或

熊猫。DataFrame

，除非提供了带有

数据类型

的架构。尝试将float转换为元组，如下所示：

myFloatRdd.map(lambda x: (x, )).toDF()

或者更好：

from pyspark.sql import Row

row = Row("val") # Or some other column name
myFloatRdd.map(row).toDF()

要从标量列表创建

DataFrame

，您必须直接使用

SparkSession.createDataFrame

，并提供一个模式***：

from pyspark.sql.types import FloatType

df = spark.createDataFrame([1.0, 2.0, 3.0], FloatType())

df.show()

## +-----+
## |value|
## +-----+
## |  1.0|
## |  2.0|
## |  3.0|
## +-----+

但对于简单的范围，最好使用

SparkSession.range

：

from pyspark.sql.functions import col

spark.range(1, 4).select(col("id").cast("double"))

---

*不再支持

**Spark SQL还对公开

\uuu dict\uu

的Python对象上的模式推断提供了有限的支持

---

***仅在Spark 2.0或更高版本中受支持。

SparkSession.createDataFrame

，在引擎盖下使用，需要一个

RDD

/

列表

行/

元组

/

列表

/

dict

*或

熊猫。数据框架

，除非提供了

数据类型

的架构。尝试将float转换为元组，如下所示：

myFloatRdd.map(lambda x: (x, )).toDF()

或者更好：

from pyspark.sql import Row

row = Row("val") # Or some other column name
myFloatRdd.map(row).toDF()

要从标量列表创建

DataFrame

，您必须直接使用

SparkSession.createDataFrame

，并提供一个模式***：

from pyspark.sql.types import FloatType

df = spark.createDataFrame([1.0, 2.0, 3.0], FloatType())

df.show()

## +-----+
## |value|
## +-----+
## |  1.0|
## |  2.0|
## |  3.0|
## +-----+

但对于简单的范围，最好使用

SparkSession.range

：

from pyspark.sql.functions import col

spark.range(1, 4).select(col("id").cast("double"))

---

*不再支持

**Spark SQL还对公开

\uuu dict\uu

的Python对象上的模式推断提供了有限的支持

***仅在Spark 2.0或更高版本中支持。

Type1-使用反射推断架构 Type2-以编程方式指定架构 类型（字段）

Type1-使用反射推断模式 Type2-以编程方式指定架构 类型（字段）

基本上，您需要将int初始化为Row（），然后我们可以使用模式

---

基本上，您需要将int初始化为Row（），然后我们可以使用模式

我是个新手。您能解释一下

myFloatRdd.map（lambda x:（x，）.toDF（）

如何解决这个问题吗？

映射（lambda x:（x，）

是否只是将RDD对象转换成一个行列表？@kasa有

元组的推理映射（
struct
），没有标量的推理映射。使用第一个选项，可以在同一行中提供col名称：
RDD.map（lambda x:（x，）.toDF（['colName'）
我是一个新手。您能解释一下
myFloatRdd.map（lambda x:（x，）.toDF（）
如何解决这个问题吗？
映射（lambda x:（x，）
是否只是将RDD对象转换为行列表？@kasa有
元组的推理映射（
struct
），没有标量的推理映射。使用第一个选项，可以在同一行中提供列名：
RDD.map（lambda x:）.toDF（['colName'）
Hi！欢迎来到StackOverflow。如果您认为您有什么要添加到已接受的
答案中，
请明确说明，不要添加无法解释的代码片段。您好！欢迎来到StackOverflow。如果您认为您有什么要添加到已接受的
答案中，
请明确说明，不要添加无法解释的代码片段。