Python 在NodeJS上获取Pyspark作业输出

我已成功提交Pyspark作业，并希望输出作业结果

我通过以下代码获得了工作结果：

const output = await storage
      .bucket(clusterResp.config.configBucket)
      .file(
        `google-cloud-dataproc-metainfo/${clusterResp.clusterUuid}/` +
          `jobs/${jobId}/driveroutput.000000000`
      )
      .download();

但是，结果还包括作业中的所有日志

有没有什么方法可以让my pyspark文件打印输出，而不需要任何日志信息？

根据您可以设置的文档--driver log levels来查看作业的驱动程序/控制台输出

根据您可以设置的文档--driver log levels来查看作业的驱动程序/控制台输出