Apache spark 使用apachespark和OpenCV进行图像分析

我想对大量图像（数千张）进行一些图像分析，我想尝试使用Spark来加速这一过程。出于测试目的，我使用docker compose在本地设置一个独立集群

我想做一些基本的分析，比如计算梯度，边缘检测等等。 我可以使用以下方法成功地将图像加载到数据帧中：

images = spark.read.format("image").option("dropInvalid", True).load("/opt/spark-data/")

我尝试使用udf调用OpenCV函数，如Sobel。但是我无法将图像数据加载到OpenCV可以使用的格式中

是否有任何方法可以转换图像数据，以便使用OpenCV函数？或者有没有比使用OpenCV更好的方法