Apache spark 避免googledataproc日志记录

我正在使用Google Dataproc执行数百万个操作，但有一个问题，即日志数据大小。 我不表演任何节目或任何其他类型的打印，但7行信息乘以数百万会得到一个非常大的日志大小

有没有办法避免Google Dataproc记录日志

已在Dataproc中尝试但未成功：

以下是我想摆脱的7条线：

18/07/30 13:11:54 INFO org.spark_project.jetty.util.log:日志已初始化@

18/07/30 13:11:55信息org.spark_project.jetty.server.server:…z-SNAPSHOT

18/07/30 13:11:55 INFO org.spark_project.jetty.server.server:Started@

18/07/30 13:11:55信息org.spark_project.jetty.server.AbstractConnector:已开始ServerConnector@...

18/07/30 13:11:56 INFO com.google.cloud.hadoop.fs.gcs.googlehadoop文件系统数据库：GHFS版本：

18/07/30 13:11:57 INFO org.apache.hadoop.warn.client.RMProxy:连接到ResourceManager位于

18/07/30 13:12:01 INFO org.apache.hadoop.warn.client.api.impl.YarnClientImpl:已提交的申请\uu

---

您要查找的是：您需要从控制台浏览到Stackdriver Logging>Logs Injection>Exclutions，然后单击“创建排除”。如上文所述：

要创建日志排除，请编辑左侧的筛选器以仅匹配 不希望包含在Stackdriver日志中的日志。之后 已创建排除，将不再显示匹配的日志 可在Stackdriver日志中访问

在您的情况下，过滤器应如下所示：

resource.type="cloud_dataproc_cluster"
textPayload:"INFO org.spark_project.jetty.util.log: Logging initialized"
...

---

您要查找的是：您需要从控制台浏览到Stackdriver Logging>Logs Injection>Exclutions，然后单击“创建排除”。如上文所述：

要创建日志排除，请编辑左侧的筛选器以仅匹配 不希望包含在Stackdriver日志中的日志。之后 已创建排除，将不再显示匹配的日志 可在Stackdriver日志中访问

在您的情况下，过滤器应如下所示：

resource.type="cloud_dataproc_cluster"
textPayload:"INFO org.spark_project.jetty.util.log: Logging initialized"
...

---

你在哪个日志中看到这些行？这是驱动程序输出还是工作程序？在stackdriver日志中的何处（stackdriver？主/工作磁盘？），此（成本？容量？）的影响是什么。我在几天内超过了50GB的限制，到现在为止，看起来GCP不会为此向我收费，但是这种日志记录是无用的，这就是为什么我想避免它。你在什么日志中看到这些行？这是驱动程序输出还是工作程序？在stackdriver日志中的何处（stackdriver？主/工作磁盘？），此（成本？容量？）的影响是什么。我在几天内就超过了50GB的限制，到目前为止，看起来GCP it不会为此向我收费，但这种日志记录是无用的，这就是我想要避免它的原因