Java 我可以将Spark/Hadoop配置指向IBM云对象存储吗？

我使用IBM对象存储（类似于AWS S3）来存储数据。IBM的对象存储实现了S3API。Spark的Hadoop配置

我试图（在pyspark中）通过将端点设置为指向IBM而不是Amazon来访问我的数据

sc._jsc.hadoopConfiguration().set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
sc._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "s3-api.us-geo.objectstorage.service.networklayer.com")
sc._jsc.hadoopConfiguration().set('fs.s3a.access.key', '<my_key>')
sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", "<secret_key>")

---

注意“Service:amazons3；”，这使我假设SDK仍然指向AWS。这可以更改吗？

您指定的端点是“专用”端点，用于在IBM Cloud/Softlayer数据中心网络中发送请求的工作负载

如果试图通过公共internet连接到对象存储，则需要使用不同的端点：

s3api.us geo.objectstorage.softlayer.net

。更多信息可以在中找到（诚然正在进行中）

---

如果这不能解决问题，请告诉我-如果是兼容性缺陷，我希望确保问题得到解决。

您指定的端点是“专用”端点，用于在IBM Cloud/Softlayer数据中心网络内发送请求的工作负载

如果试图通过公共internet连接到对象存储，则需要使用不同的端点：

s3api.us geo.objectstorage.softlayer.net

。更多信息可以在中找到（诚然正在进行中）

---

如果这不能解决问题，请告诉我-如果这是一个兼容性缺陷，我希望确保它得到解决。

遗憾的是，无论我使用哪个端点，错误仍然存在。我目前正在尝试从Softlayer虚拟机访问对象存储。我将与我们的测试团队联系。如果您想详细讨论，请随时发送电子邮件至nicholas.lange[at]ibm.com.Nick，如果您确实有S3协议的实现，并且希望与Hadoop进行互操作，然后我建议您查看Hadoop branch-2.8，并针对您的端点运行其Hadoop aws集成测试套件—理想情况下是在Hadoop 2.8 RC推出之前。其他一些对象存储会针对它进行测试，这就是为什么我们知道保持多个delete（很快就是v2 list）调用是可选的——但看看针对其他端点会发生什么总是很有趣的。看：看看接下来发生了什么，史蒂夫！感谢您提供的信息。遗憾的是，无论我使用哪个端点，错误都会持续存在。我目前正在尝试从Softlayer虚拟机访问对象存储。我将与我们的测试团队联系。如果您想详细讨论，请随时发送电子邮件至nicholas.lange[at]ibm.com.Nick，如果您确实有S3协议的实现，并且希望与Hadoop进行互操作，然后我建议您查看Hadoop branch-2.8，并针对您的端点运行其Hadoop aws集成测试套件—理想情况下是在Hadoop 2.8 RC推出之前。其他一些对象存储会针对它进行测试，这就是为什么我们知道保持多个delete（很快就是v2 list）调用是可选的——但看看针对其他端点会发生什么总是很有趣的。看：看看接下来发生了什么，史蒂夫！感谢您提供的信息。

An error occurred while calling o131.partitions.
: com.amazonaws.services.s3.model.AmazonS3Exception: Forbidden (Service: Amazon S3; Status Code: 403; Error Code: 403 Forbidden; Request ID: 7F46A12CDBB841AA)