Python 如何从表中将值传递给pyspark变量？

这可能是一个愚蠢的问题，但我有一个表，每个列都包含一个我想传递给变量的值：

object=spark.sql（“”）
从db.tbl中选择sfObject
其中Id={}
“。格式（1））
a、 show（）

我看到的是一个名为

sfObject

的列，它的预期对应值为“ValueA”，我得到了一个

pyspark.sql.dataframe.dataframe

type对象

我试图将每个列的值传递给一个变量，这样

object='ValueA'

。我该怎么做

---

谢谢

如果我正确理解了这个问题，那么您希望从python shell中的DataFrame中获取作为变量的数据。为此，您可以使用

object.collect()

获取包含与数据框中的列对应的字段的

pyspark.sql.Row

python对象列表，或

object.toPandas()

---

获取带有数据的pandas

DataFrame

对象。

如果我正确理解了这个问题，那么您希望从python shell中的DataFrame获取作为变量的数据。为此，您可以使用

object.collect()

获取包含与数据框中的列对应的字段的

pyspark.sql.Row

python对象列表，或

object.toPandas()

---

要获取包含数据的pandas

DataFrame

对象，您需要列的值而不是DataFrame，因此在本例中，您可以执行以下操作

object=spark.sql（“”）
从db.tbl中选择sfObject
其中Id={}
“.format（1））.collect（）[0][0]

---

对象现在将包含值而不是数据帧。

IIUC您希望列的值而不是数据帧，因此在您的情况下，您可以这样做

object=spark.sql（“”）
从db.tbl中选择sfObject
其中Id={}
“.format（1））.collect（）[0][0]

---

对象现在将包含值而不是数据帧。

如果运行type（对象），我将返回字符串类型。我如何修改它以返回日期类型？非常感谢。您需要将列强制转换为日期类型如果我要运行类型（object），我将返回字符串类型。我如何修改它以返回日期类型？非常感谢。您需要将列强制转换为日期类型