Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 黑斑羚-它需要hdfs和namenodes吗?_Amazon Web Services_Hadoop_Amazon S3_Hive_Impala - Fatal编程技术网

Amazon web services 黑斑羚-它需要hdfs和namenodes吗?

Amazon web services 黑斑羚-它需要hdfs和namenodes吗?,amazon-web-services,hadoop,amazon-s3,hive,impala,Amazon Web Services,Hadoop,Amazon S3,Hive,Impala,ApacheImpala能否在从S3读取数据的EC2s(而不是EMR)上安装/运行?还是需要Hadoop Namenodes和HDF才能工作? 文档中不太清楚安装依赖项。是的,Impala可以在没有hdfs的情况下运行。hadoop生态系统需要的唯一组件是hive metastore,它使用它来存储元数据 至于S3的可访问性,您可以参考Impala可以从S3读取数据(需要将数据复制到本地HDFS,这确实需要一个namenode),但EMR Presto或其他AWS管理的服务将提供更多sense@

ApacheImpala能否在从S3读取数据的EC2s(而不是EMR)上安装/运行?还是需要Hadoop Namenodes和HDF才能工作?
文档中不太清楚安装依赖项。

是的,Impala可以在没有hdfs的情况下运行。hadoop生态系统需要的唯一组件是hive metastore,它使用它来存储元数据


至于S3的可访问性,您可以参考

Impala可以从S3读取数据(需要将数据复制到本地HDFS,这确实需要一个namenode),但EMR Presto或其他AWS管理的服务将提供更多sense@cricket_007有消息来源吗?下面的Amos声称不需要hdfs请参见下面的我的评论不需要hdfs的信息来源?@Tooptop4好的,您可以在本地运行它并查看它的工作原理。以下是它的工作原理:Impala支持各种各样的表类型,例如以拼花格式存储在hdfs中的本地表、kudu表、hbase表甚至外部表。没有hdfs,您只会失去创建本机表的能力。它不会阻止您使用其他类型。在链接中,Impala要求集群的默认文件系统为HDFS。不能将S3用作系统中的唯一文件系统cluster@cricket_007啊,我看问题的时候应该更小心,而不是只看题目。谢谢你指出这一点。@cricket_007我试图只使用黑斑羚和库杜而不使用HDFS。但我得到一个错误,说“当前配置的默认文件系统:ProxyLocalFileSystem.fs.defaultFS(文件:///)不受支持”,只有在我安装并启动HDFS时才会消失。没有HDFS,黑斑羚和库杜能工作吗?