Multithreading Pyspark：多节点上的多线程

我对Pyspark还是一个新手，试着四处搜索，但没有找到直接回答这个问题的答案。我正在运行一些任务来解码大量URL，目前它在单个节点上是多线程的（默认情况下），只是想知道是否有可能在每个节点内跨多个节点进行多线程处理（spark+多线程）以进一步加速该任务？我可以将多线程作为Pyspark udf函数的一部分吗？谢谢

正如Joby所说，您能否提供一个更具体的示例/可复制的代码片段，以便我们更好地帮助您

---

话虽如此，这是spark应用程序的一个良好开端

您是否能够添加一些关于当前如何执行的代码块，并提供集群配置的其他详细信息？这可能有助于某人更准确地回答你的问题。欢迎来到StackOverflow！！！！