通过rdd.pipe重定向日志在Spark Scala中使用Python
我没有使用PySpark。 我正在使用scala运行spark应用程序。 我通过调用RDD.pipe在spark应用程序中执行python脚本。 我希望能够从python脚本中记录一些内容，并在executor日志中查看记录的信息。 我没有使用PySpark。 我正在通过API通过rdd.pipe重定向日志在Spark Scala中使用Python,python,apache-spark,pipe,rdd,Python,Apache Spark,Pipe,Rdd,我没有使用PySpark。 我正在使用scala运行spark应用程序。 我通过调用RDD.pipe在spark应用程序中执行python脚本。 我希望能够从python脚本中记录一些内容，并在executor日志中查看记录的信息。 我没有使用PySpark。 我正在通过APIRDD.pipe在Spark应用程序中执行Python脚本 我希望以某种方式为用户提供调试脚本的能力，方法是在Python脚本级别打印一些消息，并在Spark logger级别提供这些Python脚本 我该怎么做 可能重复
RDD.pipe我该怎么做 可能重复的我不相信这是重复的@user8371915