Amazon web services 用Scala脚本检查S3中是否存在文件？

我是新写AWS Glue脚本的，我想检查是否有办法使用Spark/Scala检查S3 bucket中是否已经存在密钥、文件或路径名

---

谢谢

是的，您可以使用类似的库来检查S3中是否存在文件。您必须将jar上传到S3，以便在粘合作业中将其作为外部库引用

另一种方法是使用Filesystem.Get方法，如下所示：

var sc = new SparkContext()
if(FileSystem.get(URI.create("s3://s3bucket/"), sc.hadoopConfiguration).exists(new Path("s3://s3bucket/")))
{
     println("File exists")
}

---

你和pyspark试过boto3吗？嗨，但我得和Scala合作。有没有办法让它与Spark/Scala一起工作？谢谢！有没有办法不用图书馆？比如一个简单的调用“.exist”，比如用boto3导入（因为我使用的是Scala而不是Pyspark，所以无法使用）@CharmeeLee我添加了另一种没有库的方式：）哦，谢谢！我很困惑Hadoop配置是否可以工作，但它似乎可以！如果我的回答对你有帮助，请投赞成票并接受！