Scala 获取Org.Apache .Hadoop.Icc.ReleExtExort（org .Apache .Hadoop.HDFS.Server .NAMENODE .LeaseExpIrExeExtExpCort）：没有PAR中的租约

尝试处理HDFS目录中的每个JSON文件并写入HDFS目录。这里我使用Scala平行集合PAR。我正在尝试下面的代码来读取JSON文件

代码：

val lines2 =Source.fromFile("allats_tmp.txt").getLines.toList.filter(x => x.size > 1) 
val ooo = lines2.par.foreach(x => {
         var path = path of hdfs directory 
         val readJSON = sc.wholeTextFiles(path) 
         val dataFrame = spark.read.json(readJSON.toSeq.toDS) 
         dataFrame.coalesce(1).write.mode("append").json("appendedjsontestpar") 
})

我正在犯错误

Caused by: org.apache.hadoop.ipc.RemoteException(
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): 
No lease on /user/ine12363287/appendedjsontestpar/_SUCCESS (inode 2013174239):
File does not exist. 
[Lease.  Holder: DFSClient_NONMAPREDUCE_-1536968823_1, pendingcreates: 2] 

---

您可以使用Spark中可用的

json（）

函数简单地读取多个

json

文件

案例1：如果所有

json

文件都在同一

HDFS

目录中，那么只需将

json

文件

HDFS

路径传递给json函数，如下所示

语法：

spark.read.json（“”）

案例2：如果您的

json

文件位于不同的

HDFS

目录中，那么您可以使用同样的函数

json（路径：String*）

，它也接受变量参数

---

语法：

spark.read.json（“，”）

您可以使用spark中可用的

json（）

函数简单地读取多个

json

文件

案例1：如果所有

json

文件都在同一

HDFS

目录中，那么只需将

json

文件

HDFS

路径传递给json函数，如下所示

语法：

spark.read.json（“”）

案例2：如果您的

json

文件位于不同的

HDFS

目录中，那么您可以使用同样的函数

json（路径：String*）

，它也接受变量参数

读。JSON（“”，“”“”/< P> ValLeSe2＝Soist.Futtory。“GalthList.tM.Txt”）。ValOO= LIMS2.2. PAL.FACH（X= > {var路径= HDFS目录VAL ReadjsOn= Sc.WestEtExtFrase:PATH）DATAFRAM＝Skas.Read.JSON（ReadjSun.ToeSq.toDS）数据文件。CueSeCe（1）。写模式（“附加”）JSON（JSON）

语法：<代码>火花FaveLoS2 =源.FutList.Toist.Faster（x=＞X.Stand＞1）ValOO= Lime2.Par .FACH（X= > {var路径= HDFS目录VAL ReadjsOn= Sc.WestEtExtFrices（PATH）ValdFaFrAMe= Skas.Read.JSON（ReadJSON.ToSeq.toDS）数据文件.CueSeCe（1）.写模式（“AppEnter”）.JSON（“AppDeldJStTestPar”）}阿彭德森