对WebHDFS的Spring支持
wedhdfs是否有Spring支持?我在谷歌上找不到任何有用的链接 我想通过webhdfs通过普通身份验证和kerberos身份验证连接到hadoop。这在春季得到支持吗 任何有用的链接都会有帮助对WebHDFS的Spring支持,spring,hadoop,kerberos,webhdfs,Spring,Hadoop,Kerberos,Webhdfs,wedhdfs是否有Spring支持?我在谷歌上找不到任何有用的链接 我想通过webhdfs通过普通身份验证和kerberos身份验证连接到hadoop。这在春季得到支持吗 任何有用的链接都会有帮助 谢谢是的,Spring数据支持这一点。根据本文档,可以配置任何受支持的Hadoop文件系统: SHDP不强制执行要使用的任何特定协议-事实上,如 如本节所述,可以使用任何文件系统实现, 甚至允许使用HDFS以外的其他实现 下面的代码示例演示了如何将WebHDFS文件系统实例自动连接到命令行应用程序
谢谢是的,Spring数据支持这一点。根据本文档,可以配置任何受支持的Hadoop文件系统: SHDP不强制执行要使用的任何特定协议-事实上,如 如本节所述,可以使用任何
文件系统
实现,
甚至允许使用HDFS以外的其他实现
下面的代码示例演示了如何将WebHDFS文件系统
实例自动连接到命令行应用程序中。要运行此操作,请将文件路径作为命令行参数传递,它将通过调用FileSystem.listStatus
列出该路径中存在的每个文件
代码示例配置为通过“简单”身份验证连接到不安全的WebHDFS实例。要连接到使用Kerberos保护的WebHDFS实例,您需要在
bean中设置相关的配置属性。Hadoop安全配置是一个非常大的主题。与其重复这些信息,我只想指出Apache中的文档:
pom.xml
4.0.0
测试spring hadoop
测试webhdfs
罐子
0.0.1-快照
使用WebHDFS测试Spring Hadoop
使用WebHDFS测试Spring Hadoop
org.springframework.boot
spring启动程序父级
1.1.0.1发布
春季里程碑
http://repo.spring.io/libs-release
testwebhdfs.Main
1.6
2.4.1
org.springframework.boot
springbootmaven插件
org.springframework.boot
弹簧靴起动器
org.springframework.data
spring数据hadoop
2.0.2.1发布
org.apache.hadoop
hadoop通用
${hadoop.version}
org.apache.hadoop
hadoop hdfs
${hadoop.version}
src/main/resources/hadoop-context.xml
src/main/java/testwebhdfs/main.java
包测试webhdfs;
导入org.apache.hadoop.fs.FileStatus;
导入org.apache.hadoop.fs.FileSystem;
导入org.apache.hadoop.fs.Path;
导入org.springframework.beans.factory.annotation.Autowired;
导入org.springframework.boot.CommandLineRunner;
导入org.springframework.boot.SpringApplication;
导入org.springframework.context.annotation.Configuration;
导入org.springframework.context.annotation.ImportResource;
@配置
@ImportResource(“hadoop context.xml”)
公共类Main实现CommandLineRunner{
@自动连线
专用文件系统fs;
@凌驾
公共无效运行(字符串…字符串)引发异常{
路径[]路径=新路径[strings.length];
for(int i=0;i
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>test-spring-hadoop</groupId>
<artifactId>test-webhdfs</artifactId>
<packaging>jar</packaging>
<version>0.0.1-SNAPSHOT</version>
<name>Test Spring Hadoop with WebHDFS</name>
<description>Test Spring Hadoop with WebHDFS</description>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>1.1.0.RELEASE</version>
</parent>
<repositories>
<repository>
<id>spring-milestones</id>
<url>http://repo.spring.io/libs-release</url>
</repository>
</repositories>
<properties>
<start-class>testwebhdfs.Main</start-class>
<java.version>1.6</java.version>
<hadoop.version>2.4.1</hadoop.version>
</properties>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-hadoop</artifactId>
<version>2.0.2.RELEASE</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${hadoop.version}</version>
</dependency>
</dependencies>
</project>
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:hdp="http://www.springframework.org/schema/hadoop"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">
<hdp:configuration id="hadoopConfiguration" />
<hdp:file-system uri="webhdfs://localhost:50070" />
</beans>
package testwebhdfs;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.ImportResource;
@Configuration
@ImportResource("hadoop-context.xml")
public class Main implements CommandLineRunner {
@Autowired
private FileSystem fs;
@Override
public void run(String... strings) throws Exception {
Path[] paths = new Path[strings.length];
for (int i = 0; i < strings.length; ++i) {
paths[i] = new Path(strings[i]);
}
for (FileStatus stat: fs.listStatus(paths)) {
System.out.println(stat.getPath());
}
}
public static void main(String[] args) {
SpringApplication.run(Main.class, args);
}
}