Java 向数据存储服务器发布和读取文件:scala项目

Java 向数据存储服务器发布和读取文件:scala项目,java,scala,amazon-s3,datastore,Java,Scala,Amazon S3,Datastore,我们正在用Scala开发一个机器学习框架。我们需要一个数据存储来存储一些数据。在这里,我以更一般的形式解释这个问题: 1) 从数据存储读取:我们有一个相对较大的数据集,它不能提交给git回购,但需要存储在某个地方。并不总是需要此数据集。因此,当要求运行代码中的某个函数时,我们需要程序来下载文件 2) 发布到数据存储:系统使用一组模型文件进行预测。在运行一些代码时,我们需要这些代码将一些输出生成的文件发布到数据存储 我看过基于AmazonS3()的;虽然我们没有太多的S3访问权限。相反,我们有自己

我们正在用Scala开发一个机器学习框架。我们需要一个数据存储来存储一些数据。在这里,我以更一般的形式解释这个问题:

1) 从数据存储读取:我们有一个相对较大的数据集,它不能提交给git回购,但需要存储在某个地方。并不总是需要此数据集。因此,当要求运行代码中的某个函数时,我们需要程序来下载文件

2) 发布到数据存储:系统使用一组模型文件进行预测。在运行一些代码时,我们需要这些代码将一些输出生成的文件发布到数据存储


我看过基于AmazonS3()的;虽然我们没有太多的S3访问权限。相反,我们有自己的服务器可以使用。你知道我们是否可以使用任何工具吗?

工具推荐问题是离题的。在任何情况下,这都是非常模糊的,没有关于卷、数据集结构、访问或更新频率的任何真实细节,因此您得到的任何答案都只是偶然符合您的要求。您是说我添加更多细节,还是我们将其移到另一个论坛?移动。“要求我们推荐或查找书籍、工具、软件库、教程或其他非现场资源的问题与堆栈溢出无关,因为它们往往会吸引自以为是的答案和垃圾邮件。相反,请描述问题以及迄今为止为解决此问题所做的工作。”