远程使用Hadoop集群

我有一个web应用程序和一个远程集群（可以是一个或多个）。这些群集可以位于不同的计算机上。 我想从我的web应用程序执行以下操作：

1 HDFS行动：

• 创建新目录
• 从HDFS（Hadoop分布式文件系统）中删除文件
• 列出HDFS上存在的文件
• 将文件加载到HDFS
• 卸载文件

2与工作相关的行动：-

• 提交地图减少作业
• 查看他们的状态，即完成了多少作业
• 工作完成所花费的时间

我需要一个工具来帮助我从web应用程序执行这些任务—通过API、REST调用等。我假设该工具将在同一台机器上运行（与web应用程序相同），并且可以指向特定的远程集群

---

虽然作为最后一个选项（因为可能有多个不同的集群，很难确保每个集群都安装了插件、库等），但我想知道是否会有一些Hadoop库、基于集群的插件，允许从远程计算机访问并执行上述任务。

允许此处列出的所有内容的最佳框架是。这使得基于Java脚本API的实现可以执行以下操作

1 HDFS Actions :-

Create New Directory
Remove files from HDFS(Hadoop Distributed File System)
List Files present on HDFS
Load File onto the HDFS
Unload File

2 Job Related Actions:-

Submit Map Reduce Jobs
View their status i.e. how much job has comleted
Time taken by the job to finish

以及基于spring调度的实现，以执行以下操作

1 HDFS Actions :-

Create New Directory
Remove files from HDFS(Hadoop Distributed File System)
List Files present on HDFS
Load File onto the HDFS
Unload File

2 Job Related Actions:-

Submit Map Reduce Jobs
View their status i.e. how much job has comleted
Time taken by the job to finish

---

您好……感谢您的回复……如果我的远程群集位于不同的计算机上，那么此api是否会提供任何方法，以便我可以直接在该群集上运行map reduce作业/执行hdfs操作……是的，请查看链接上的网络研讨会，以便您更好地理解。