Pyspark数据帧中单元格中Numpy数组形式的图像
我想在Pyspark数据帧中存储一个表示为numpy数组的图像。 当我尝试时,我得到一个错误数据类型不受支持 查看Pyspark中支持的数据类型,我看不到numpy,想知道是否有一种存储数组的方法 我还尝试将numpy作为字符串,但由于某种原因,字符串被截断,其中包含Pyspark数据帧中单元格中Numpy数组形式的图像,numpy,apache-spark,pyspark,spark-dataframe,pyspark-sql,Numpy,Apache Spark,Pyspark,Spark Dataframe,Pyspark Sql,我想在Pyspark数据帧中存储一个表示为numpy数组的图像。 当我尝试时,我得到一个错误数据类型不受支持 查看Pyspark中支持的数据类型,我看不到numpy,想知道是否有一种存储数组的方法 我还尝试将numpy作为字符串,但由于某种原因,字符串被截断,其中包含 有什么建议或解决办法吗 您可以使用spark矩阵/向量UDT,但无论如何我都不会有效率。
有什么建议或解决办法吗 您可以使用spark矩阵/向量UDT,但无论如何我都不会有效率。