Apache spark 如何找到从纱线(如Spark或Hive)运行的作业已反序列化的路径

Apache spark 如何找到从纱线(如Spark或Hive)运行的作业已反序列化的路径,apache-spark,logging,hive,hdfs,yarn,Apache Spark,Logging,Hive,Hdfs,Yarn,我想知道HDFS上的哪些路径由集群上运行的每个作业反序列化 每个作业反序列化的路径列表是否在Spark/Hive的标准日志中?它们是在ApplicationMaster级别、任务级别还是任务尝试级别?我在syslog\u dag\u…下找到了反序列化的配置单元目录,方法是使用grep“拆分目录”搜索Spark,我在executor Log的stdout中找到了反序列化的路径,查找filescardd操作。我在syslog\u dag\u…下找到了反序列化的配置单元目录,方法是使用grep“dis

我想知道HDFS上的哪些路径由集群上运行的每个作业反序列化


每个作业反序列化的路径列表是否在Spark/Hive的标准日志中?它们是在ApplicationMaster级别、任务级别还是任务尝试级别?

我在syslog\u dag\u…下找到了反序列化的配置单元目录,方法是使用
grep“拆分目录”
搜索Spark,我在executor Log的
stdout
中找到了反序列化的路径,查找
filescardd
操作。我在
syslog\u dag\u…
下找到了反序列化的配置单元目录,方法是使用
grep“dislits for dirs”
搜索Spark,我在executor日志的
stdout
中找到了查找
filescanrd
操作的反序列化路径