在Spark集群上使用常规python代码

我可以在Spark集群中使用常规ML库（例如Tensorflow或sci kit learn）运行普通python代码吗？如果是，spark可以在集群中分发我的数据和计算吗？如果没有，原因是什么？

Spark使用RDD（弹性分布式数据集）在工作人员或从机之间分配工作，我不认为您可以在python中使用现有代码，而不根据Spark规范对代码进行大幅调整，因为tensorflow有许多选项可以在多个GPU上分配计算。

Spark使用RDD（弹性分布式数据集）要在工作人员或从属人员之间分配工作，我认为您不能在不根据spark规范对代码进行大幅调整的情况下使用python中的现有代码，因为tensorflow有许多选项可以在多个GPU上分配计算。

签出tensorflowonspark和sklearn spark软件包签出tensorflowonspark和sklearn spark packages