Hadoop 如何将图像导入HDFS?我使用的是CDH版本5.11

Hadoop 如何将图像导入HDFS?我使用的是CDH版本5.11,hadoop,hdfs,Hadoop,Hdfs,我的系统上安装了sqoop、flume和spark,但我不确定如何导入图像文件 我能够使用sqoop成功地从RDBMS导入数据,并且能够使用flume导入文本文件 如何在hdfs上导入图像?Hadoop没有文件类型的概念(例如Windows),因此您可以使用任何工具将图像导入Hadoop 如果BLOB列中有图像,则应使用SQOOP Flume支持二进制数据,所以您可以使用BlobDeserializer BlobDeserializer 此反序列化程序为每个事件读取一个二进制大对象(BLOB),

我的系统上安装了sqoop、flume和spark,但我不确定如何导入图像文件

我能够使用sqoop成功地从RDBMS导入数据,并且能够使用flume导入文本文件


如何在hdfs上导入图像?

Hadoop没有文件类型的概念(例如Windows),因此您可以使用任何工具将图像导入Hadoop

如果BLOB列中有图像,则应使用SQOOP

Flume支持二进制数据,所以您可以使用BlobDeserializer

BlobDeserializer

此反序列化程序为每个事件读取一个二进制大对象(BLOB),通常为每个文件读取一个BLOB。例如PDF或JPG文件。请注意,这种方法不适用于非常大的对象,因为整个BLOB都缓冲在RAM中

在HDFS中,基本命令
-put
-copyFromLocal
将起作用

$ hdfs dfs -put about.png /tmp
$ hdfs dfs -ls /tmp/about.png
-rw-r--r--   3 testuser supergroup      53669 2017-06-30 11:34 /tmp/about.png
$
也可以使用WebHDFS API远程执行此操作

参考资料:


您的图像位于哪里?图像位于某个远程服务器上,我正在尝试导入图像。