将数组传递给Python Spark函数

假设我有一个numpy数组a，它包含数字1-10。所以a是[1 2 3 4 5 6 7 8 9 10]

现在，我还有一个Python Spark数据帧，我想在其中添加我的numpy数组a。我认为一列文字就可以完成这项工作。因此，我做了以下工作：

df = df.withColumn("NewColumn", F.lit(a))

这不管用。错误为“不支持的文字类型类java.util.ArrayList”

现在，如果我只尝试数组中的一个元素，如下所示，它可以工作

df = df.withColumn("NewColumn", F.lit(a[0]))

有什么办法可以让我做我想做的吗？我已经为我想完成的任务工作了好几天，这是我最近一次完成它。我已经看了所有相关的堆栈溢出问题，但我没有得到我想要的答案。感谢您的帮助。谢谢。

对于数组中的循环内置函数 您可以使用

array

内置函数作为

你应该

+--------------------+-------------------------------+
|col1                |NewColumn                      |
+--------------------+-------------------------------+
|a b c d e f g h i j |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
+--------------------+-------------------------------+
root
 |-- col1: string (nullable = true)
 |-- NewColumn: array (nullable = false)
 |    |-- element: integer (containsNull = false)

使用udf函数 输出与for循环方式相同

已更新

我正在粘贴下面给出的@pault的评论

---

您可以使用

map

：

df.withColumn（“NewColumn”，F.array（map（F.lit，a）））隐藏循环。

在ScalaAPI中，我们可以使用“typedLit”函数在列中添加数组或映射值

//参考：

下面是将数组或映射添加为列值的示例代码

import org.apache.spark.sql.functions.typedLit

val df1 = Seq((1, 0), (2, 3)).toDF("a", "b")

df1.withColumn("seq", typedLit(Seq(1,2,3)))
    .withColumn("map", typedLit(Map(1 -> 2)))
    .show(truncate=false)

//输出

+---+---+---------+--------+
|a  |b  |seq      |map     |
+---+---+---------+--------+
|1  |0  |[1, 2, 3]|[1 -> 2]|
|2  |3  |[1, 2, 3]|[1 -> 2]|
+---+---+---------+--------+

---

我希望这会有所帮助。

给出一个添加列前后的

df

示例。df before:col1:a b c d e f g h I j df after:col1:a b c d e f g h I j；新专栏：12345678910我试过这个，效果很好。谢谢你的回答，我现在就这样回答。然而，在现实中，我的“a”数组有成千上万个条目，并且由于for循环，它不是很有效。有没有一种方法可以不使用循环？a.R.我已经使用udf函数更新了我的答案，该函数不需要循环。如果答案有帮助，您可以接受它并上传。您可以使用

map

：

df.withColumn（“NewColumn”，F.array（map（F.lit，a）））隐藏循环。

@pault map不是rdd函数吗？此外，map的输出既不是字符串也不是列，因此

withColumn

将抛出错误。@pault，我认为这应该是

F.array（*map（F.lit，a））

，使用（star）spread运算符，因为F.array无法处理map对象。这并不能回答问题，OP要求提供pyspark解决方案。

import org.apache.spark.sql.functions.typedLit

val df1 = Seq((1, 0), (2, 3)).toDF("a", "b")

df1.withColumn("seq", typedLit(Seq(1,2,3)))
    .withColumn("map", typedLit(Map(1 -> 2)))
    .show(truncate=false)

+---+---+---------+--------+
|a  |b  |seq      |map     |
+---+---+---------+--------+
|1  |0  |[1, 2, 3]|[1 -> 2]|
|2  |3  |[1, 2, 3]|[1 -> 2]|
+---+---+---------+--------+