Java org.apache.hadoop.mapred.lip.input.invalidInputException
我在powershell中运行这段代码,方法是按照本文中针对pwershell的步骤和命令进行操作。 我只是把名字从WordCount改成Matrix。 所有步骤都可以正常工作,但我在运行Azure PowerShell脚本后出现以下错误:Java org.apache.hadoop.mapred.lip.input.invalidInputException,java,powershell,azure,powershell-3.0,azure-hdinsight,Java,Powershell,Azure,Powershell 3.0,Azure Hdinsight,我在powershell中运行这段代码,方法是按照本文中针对pwershell的步骤和命令进行操作。 我只是把名字从WordCount改成Matrix。 所有步骤都可以正常工作,但我在运行Azure PowerShell脚本后出现以下错误: 线程main org.apache.hadoop.mapred.lip.input.invalidInputException中的异常:输入路径不存在根据我的理解,我认为您希望在Azure HDInsight中计算矩阵乘法。您可以在HDInsight Em
线程main org.apache.hadoop.mapred.lip.input.invalidInputException中的异常:输入路径不存在
根据我的理解,我认为您希望在Azure HDInsight中计算矩阵乘法。您可以在HDInsight Emulator中成功运行代码,但在Azure上的HDInsigit中失败
Azure HDInsight的HDFS上的文件路径是直接使用基于blob容器的相对路径作为根路径,而不使用主机信息(如果您远程进入集群),例如wasb:///examples/data/...
因此,您可以尝试远程访问HDInsight集群,并在针对Linux的远程ssh或针对Windows的cmd中运行代码,然后执行以下步骤
scp@-ssh.azurehdinsight.net:/home/
hadoop fs-mkdirwasb:////
hadoopjarwasb:////jars/.jar wasb:////data/input/ wasbL///data/output
运行代码远程桌面
而不是安全外壳
如果您想查看代码的结果,也可以在Azure new portal上找到,请参见下面的图片
请将代码放在问题正文中-不要强迫读者单击以了解问题的内容。能否提供args[0]和args[1]的值。这可能是一个路径问题。我没有为它们提供值,我只是指定一个文本文件作为输入(包含a和B矩阵的值)。您可以添加您指定的值吗?我需要知道要调试的输入和输出路径……我正在寻找用于运行jar文件的命令。例如:hadoop jar C:\Tutorials\WordCountJava\WordCountJava\target\WordCountJava-1.0-SNAPSHOT.jar org.apache.hadoop.examples.WordCount/WordCount/Input/WordCount/Outputt谢谢你的回答,但是我对将数据文件上传到存储的目录的第4步有疑问,对吗?是否还需要数据/输入来创建此目录?@juliana您可以按照步骤4到6在HDInsight群集的远程环境中执行这些操作。您必须创建用于上传的目录,如
数据/输入
,但目录数据/输出
将由Hadoop创建以存储结果。