Hadoop 从非hdfs源读取时，当df.write.parquet时发生namenode.LeaseExpiredException

我有一个运行在纱线簇上的spark代码，并使用databricks库将csv转换为拼花地板

当csv源是hdfs时，它可以正常工作。但是当csv源代码是非hdfs时（通常情况下），我会遇到这个异常。 这不应该发生，因为相同的代码适用于hdfs csv源代码

完整的问题链接：

---

如评论中所述

当文件位于驱动程序节点上，但节点无法访问时，读取将失败

---

使用读取输入文件时（例如spark 2.0中的spark.read），所有执行器节点都应该可以访问文件（例如，当文件位于HDFS等上时）

，如注释中所述

当文件位于驱动程序节点上，但节点无法访问时，读取将失败

---

使用读取输入文件（例如spark 2.0中的

spark.read

）时，所有执行器节点都应该可以访问文件（例如，当文件位于HDFS等上时）

文件的来源是什么？它是否可以从所有节点访问（例如，它是url吗？）。如果节点无法访问该文件（例如，如果它位于本地计算机/节点上）-应该会出现此错误是的，它是可访问的…权限权限为hdfs:hdfs，它可以访问该文件，因为我给出了目录名，它自己选择了文件名。。。。如果找不到文件，错误就不同了。但它是本地文件…我的意思是在我运行spark submit的机器中…将其作为master--Thread提交。。那么，如何为这些文件提供输入路径，这些文件不是分布式的，而是为了进一步分布式处理而读取的（如果不是通过“file://”），好吧……我想我做错了，文件需要存在于所有主机或HDF中……这种读取本地文件的尝试在概念上是错误的。文件的来源是什么？它是否可以从所有节点访问（例如，它是url吗？）。如果节点无法访问该文件（例如，如果它位于本地计算机/节点上）-应该会出现此错误是的，它是可访问的…权限权限为hdfs:hdfs，它可以访问该文件，因为我给出了目录名，它自己选择了文件名。。。。如果找不到文件，错误就不同了。但它是本地文件…我的意思是在我运行spark submit的机器中…将其作为master--Thread提交。。那么，如何为这些文件提供输入路径，这些文件不是分布式的，而是为了进一步的分布式处理而读取的（如果不是通过“file://”），好吧……我想我做错了，文件需要存在于所有主机或hdfs中……这种读取本地文件的尝试在概念上是错误的。@taransaini43-如果我回答了你的问题，请接受/支持投票it@taransaini43-如果我已经回答了你的问题，请接受/投赞成票