Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/actionscript-3/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark spark提交执行器内存/批处理失败_Apache Spark_Spark Streaming - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark spark提交执行器内存/批处理失败

Apache spark spark提交执行器内存/批处理失败

apache-spark

Apache spark spark提交执行器内存/批处理失败,apache-spark,spark-streaming,Apache Spark,Spark Streaming,关于spark streaming，我有两个问题： 我有一个spark streaming应用程序在20秒内运行并收集数据，在4000个批次中，有18个批次因异常而失败： 无法计算拆分，未找到块输入-0-146477410087 我假设此时的数据大小大于可用内存，并且应用程序StorageLevel仅为memory\u 请建议如何修复此问题 同样在我下面使用的命令中，我使用executor memory 20G（数据节点上的总RAM为140G），这是否意味着所有内存都已为该应用程序完全保留，如果

关于spark streaming，我有两个问题：

  • 我有一个spark streaming应用程序在
    20秒内运行并收集数据，在
    4000个批次中，有
    18个批次因异常而失败：
    • 无法计算拆分，未找到块输入-0-146477410087

    我假设此时的数据大小大于可用内存，并且应用程序
    StorageLevel
    仅为
    memory\u

    请建议如何修复此问题

  • 同样在我下面使用的命令中，我使用executor memory 20G（数据节点上的总RAM为140G），这是否意味着所有内存都已为该应用程序完全保留，如果我有多个spark streaming应用程序，会发生什么情况
    • 我是否会在几个应用程序之后耗尽内存？我需要那么多的记忆吗

    /usr/iop/4.1.0.0/spark/bin/spark-submit--主纱线--部署模式 client--jars/home/blah.jar--num executors 8--executor内核 5--执行器存储器20G--驱动程序存储器12G--驱动程序内核8
    --类com.ccc.nifi.MyProcessor nifi-Spark-Streaming-20160524.jar

    您的executor内存可能已满，请尝试以下几种优化技术：

  • 代替使用存储级别的是内存和磁盘
  • 使用Kyro序列化，它比普通的java序列化更快、更好。f您可以使用内存和序列化进行缓存
  • 检查是否存在gc，您可以在正在执行的任务中找到
    • 您的executor内存可能已满，请尝试以下几种优化技术：

  • 代替使用存储级别的是内存和磁盘
  • 使用Kyro序列化，它比普通的java序列化更快、更好。f您可以使用内存和序列化进行缓存
  • 检查是否存在gc，您可以在正在执行的任务中找到
    •