Apache spark “设置”；检查点位置“；在“中运行spark作业时未反映”；“集群”；“模式”；如何解决这个问题？

我正在使用spark-sql-2.4.1v和使用Java1.8的kafka 0.10.x。 即使设置了checkPointLocation，当我在“集群”模式下运行时，spark作业也不会反映/尊重

正在尝试写入“/tmp/hadoop admin/nm local dir/usercache”位置

如何解决这个问题

代码：

StreamingQuery queryComapanyRecords = 
            comapanyRecords
              .writeStream()
              .option("checkpointLocation", checkpointDir )
              .parquet(parquetDir)
             .start()

为什么spark提交脚本如下

它正在尝试创建本地目录，如下所示

[main] INFO  org.apache.spark.storage.DiskBlockManager - Created local directory at /tmp/hadoop-admin/nm-local-dir/usercache/analytics/appcache/application_1573726329182_0973/blockmgr-bab216a4-18e2-4fe3-a8f7-0177a1809dee

可以将其设置为hdfs文件夹吗

---

你能添加你的代码吗？谢谢，这（“检查点位置”）是HDFS位置吗？不清楚错误是什么。检查点不应该存储在本地目录中，但无论如何都应该存储在HDFS中，那么您传递了什么变量？我真的不知道如果您以分析用户身份提交作业，用户帐户将如何更改为admin。但是您可以通过在所有节点管理器上运行

chmod-R 777/tmp

来解决这个问题

[main] INFO  org.apache.spark.storage.DiskBlockManager - Created local directory at /tmp/hadoop-admin/nm-local-dir/usercache/analytics/appcache/application_1573726329182_0973/blockmgr-bab216a4-18e2-4fe3-a8f7-0177a1809dee