Apache spark 将列激发到行_Apache Spark_Spark Dataframe_Spark Structured Streaming

Apache spark 将列激发到行

apache-spark

Apache spark 将列激发到行,apache-spark,spark-dataframe,spark-structured-streaming,Apache Spark,Spark Dataframe,Spark Structured Streaming,我有一个单列数据帧，我想把它转换成一个单行数据帧 ColumnA 4 8 4 column1 column2 column3 4. 8. 4 这是在流媒体上下文中。我已经搜索了又搜索，但还没有找到一种方法。请尝试搜索pivot，您将获得大量有关如何进行转换的信息您只有三个数据要转换？你能再解释一下吗？所以我对旋转的理解涉及到分组。反正我也不想加入。我想从字面上理解一个长的单列数据帧，并将其“转换”为一个宽的单行数据帧。我正试图绕过spark

我有一个单列数据帧，我想把它转换成一个单行数据帧

ColumnA
4
8
4

column1 column2 column3
4.               8.             4

这是在流媒体上下文中。我已经搜索了又搜索，但还没有找到一种方法。请尝试搜索

pivot

，您将获得大量有关如何进行转换的信息您只有三个数据要转换？你能再解释一下吗？所以我对旋转的理解涉及到分组。反正我也不想加入。我想从字面上理解一个长的单列数据帧，并将其“转换”为一个宽的单行数据帧。我正试图绕过spark的一个限制。我需要从第二个流数据帧过滤和计算数据。最困难的是，没有与之匹配的钥匙。这个长数据帧中的每一行都是jason格式的复杂嵌入结构。如果我可以使用第二个数据帧来获得第一个数据帧，那么我可以使用任何spark API。不能在UDF或map函数中使用spark API。