我可以使用spark解析html文件吗？

我面临一个问题：

---

我想解析HDFS中的一组html文件，我想使用spark来处理它们。为了方便起见，我想使用pyspark，还想使用功能强大的包BeautifulSoup来解析html文件。我可以这样做吗？如何使用BeautifulSoup从HDFS读取文件

假设html文件在HDFS中，您可以通过管道将文件名列表输入到驱动程序中，在0和作业中的执行者数量之间分配一个随机数。然后将这些数据放入具有parallelize的rdd中。按随机数分组并进行分区映射。reducer函数将通过从HDFS中以文本形式读取文件来处理分区的每一行。然后将文本传递给BeautifulSoup并进行处理。返回结果将在RDD中捕获。请记住，必须在每个工作节点上安装BeautifulSoup，否则将无法工作。

那么如何将处理后的文本传递给BeautifulSoup？