Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/11.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
我在Azure HDInsight上的webHDFS url是什么?_Azure_Hadoop_Azure Hdinsight_Webhdfs - Fatal编程技术网

我在Azure HDInsight上的webHDFS url是什么?

我在Azure HDInsight上的webHDFS url是什么?,azure,hadoop,azure-hdinsight,webhdfs,Azure,Hadoop,Azure Hdinsight,Webhdfs,这里是azure的新成员。我刚刚在一个普通存储帐户上完成了一个新HDInsight实例与一个新存储实例的旋转。我想知道我的webHDFS url是什么/在哪里可以检索它以及如何访问它 我没有使用Azure Data Lake存储。(我发现的几乎所有与azure相关的链接都指向一些数据湖链接) my hdfs-site.xml: <property> <name>dfs.webhdfs.enabled</name> <value>true&l

这里是azure的新成员。我刚刚在一个普通存储帐户上完成了一个新HDInsight实例与一个新存储实例的旋转。我想知道我的webHDFS url是什么/在哪里可以检索它以及如何访问它

我没有使用Azure Data Lake存储。(我发现的几乎所有与azure相关的链接都指向一些数据湖链接)

my hdfs-site.xml:

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>fs.defaultFS</name>
  <value>wasb://<my hdinsight storage name>@<my hdinsight name>.blob.core.windows.net</value>
  <final>true</final>
</property>

dfs.webhdfs.enabled
真的
core-site.xml:

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>fs.defaultFS</name>
  <value>wasb://<my hdinsight storage name>@<my hdinsight name>.blob.core.windows.net</value>
  <final>true</final>
</property>

fs.defaultFS
wasb://@.blob.core.windows.net
真的

您的基本webHDFS文件系统URI应该是:
webHDFS://:
其中主机应该是
CLUSTERNAME.azurehdinsight.net
,默认情况下HTTP\U端口应该是80

相应的HTTP URL具有以下格式


http://:/webhdfs/v1/
您的基本webhdfs文件系统URI应该是:
webhdfs://:
主机应该位于
CLUSTERNAME.azurehdinsight.net
的位置,默认情况下http\u端口应该是80

相应的HTTP URL具有以下格式


http://:/webhdfs/v1/
webhdfs端口与HDFS namenode端口相同,您可以使用以下属性覆盖此端口-
dfs.namenode.http地址
默认值为50070

当您通过curl或浏览器访问webhdfs时,必须按如下方式提供端口号

http://:/webhdfs/v1/


http://:50070/webhdfs/v1/

webhdfs端口与HDFS namenode端口相同,您可以使用以下属性覆盖此端口-
dfs.namenode.http地址
默认值为50070

当您通过curl或浏览器访问webhdfs时,必须按如下方式提供端口号

http://:/webhdfs/v1/

http://:50070/webhdfs/v1/

注意:Azure HDInsight不支持WebHDFS

使用WebHDFS与ADL通信不需要创建HDInsight群集

  • Azure存储与WebHDFS不兼容

  • Azure Data Lake Store是一个云级文件系统,与Hadoop分布式文件系统(HDFS)兼容,并与Hadoop生态系统协同工作。使用WebHDFS API的现有应用程序或服务可以轻松地与ADL集成

  • 参考资料:

  • ADLS Gen2与Hadoop文件系统兼容,并针对云级大数据分析存储进行了优化,但与WebHDFS不兼容
  • 注意:Azure HDInsight不支持WebHDFS

    使用WebHDFS与ADL通信不需要创建HDInsight群集

  • Azure存储与WebHDFS不兼容

  • Azure Data Lake Store是一个云级文件系统,与Hadoop分布式文件系统(HDFS)兼容,并与Hadoop生态系统协同工作。使用WebHDFS API的现有应用程序或服务可以轻松地与ADL集成

  • 参考资料:

  • ADLS Gen2与Hadoop文件系统兼容,并针对云级大数据分析存储进行了优化,但与WebHDFS不兼容

  • 港口应该是什么?我试过50070和50075,但仍然没有骰子。是否有任何方法来检查它是否正在运行?我是否使用了错误的主机名?端口应该是什么?我试过50070和50075,但仍然没有骰子。是否有任何方法来检查它是否正在运行?我使用了错误的主机名吗?