Apache spark 在Spark Streaming中禁用CloudWatch以获取AWS动态信息

我想知道这是否可能

下面是代码：numStreams我使用AmazonKinesClient API获得它

 // Create the Kinesis DStreams
    List<JavaDStream<byte[]>> streamsList = new ArrayList<>(numStreams);
    for (int i = 0; i < numStreams; i++) {
      streamsList.add(
              KinesisUtils.createStream(jssc, kinesisAppName, streamName, endpointUrl, regionName,
              InitialPositionInStream.TRIM_HORIZON, kinesisCheckpointInterval,
              StorageLevel.MEMORY_AND_DISK_2(),accessesKey,secretKey)
      );
    }

//创建动态数据流
List streamsList=新阵列列表（numStreams）；
for（int i=0；i

我试着浏览API，但找不到任何关于禁用Apache Streaming CloudWatch的参考

以下是我尝试摆脱的警告：

17/01/23 17:46:29警告CWPublisherRunnable:无法将16个基准发布到CloudWatch com.amazonaws.AmazonServiceException:User:arn:aws:iam:：：未授权用户/Kinesis_服务执行：cloudwatch:PutMetricData（服务：AmazonCloudWatch；状态代码：403；错误代码：AccessDenied；请求ID:****） 在com.amazonaws.http.AmazonHttpClient.handleErrorResponse（AmazonHttpClient.java:1377） 在com.amazonaws.http.AmazonHttpClient.executeOneRequest（AmazonHttpClient.java:923） 在com.amazonaws.http.AmazonHttpClient.executeHelper（AmazonHttpClient.java:701） 位于com.amazonaws.http.AmazonHttpClient.doExecute（AmazonHttpClient.java:453） 在com.amazonaws.http.AmazonHttpClient.executeWithTimer（AmazonHttpClient.java:415）上 在com.amazonaws.http.AmazonHttpClient.execute上（AmazonHttpClient.java:364） 位于com.amazonaws.services.cloudwatch.AmazonCloudWatchClient.doInvoke（AmazonCloudWatchClient.java:984） 位于com.amazonaws.services.cloudwatch.AmazonCloudWatchClient.invoke（AmazonCloudWatchClient.java:954） 位于com.amazonaws.services.cloudwatch.AmazonCloudWatchClient.putMetricData（AmazonCloudWatchClient.java:853） 位于com.amazonaws.services.kinesis.metrics.impl.DefaultCWMetricsPublisher.publishMetrics（DefaultCWMetricsPublisher.java:63） 位于com.amazonaws.services.kinesis.metrics.impl.CWPublisherRunnable.runOnce（CWPublisherRunnable.java:144） 位于com.amazonaws.services.kinesis.metrics.impl.CWPublisherRunnable.run（CWPublisherRunnable.java:90） 位于java.lang.Thread.run（未知源）

---

前言：我知道这是一个老问题，但我刚刚面对了这个问题，所以为任何遇到Spark Hi@tal bary问题的人发布了一个解决方案。你在这个问题上有什么进展吗？

# Set Kinesis logging metrics to Warn - Since we intentionally provide
# wrong credentials in order to disable cloudwatch logging. Bad credential
# warning are logged at WARN level - so we still get errors.
log4j.logger.com.amazonaws.services.kinesis.metrics=ERROR