如何在Azure HDInsight的工作节点上安装自定义软件？
我已经使用PowerShell创建了Azure HDInsight群集。现在，我需要在worker节点上安装一些自定义软件，这是我将使用Hadoop streaming运行的映射程序所必需的。我没有找到任何PowerShell命令可以帮助我完成此任务。我可以准备一个定制的工作，将设置所有的工人，但我不相信这是最好的解决方案。有更好的选择吗 编辑： 使用AWS Elastic MapReduce，可以选择在创建集群时定义的引导操作中安装其他软件。我在找类似的东西 您可以使用引导操作安装其他软件并更改集群上应用程序的配置。引导操作是在Amazon EMR启动集群时在集群节点上运行的脚本。它们在Hadoop启动和节点开始处理数据之前运行如何在Azure HDInsight的工作节点上安装自定义软件？,azure,azure-hdinsight,Azure,Azure Hdinsight,我已经使用PowerShell创建了Azure HDInsight群集。现在，我需要在worker节点上安装一些自定义软件，这是我将使用Hadoop streaming运行的映射程序所必需的。我没有找到任何PowerShell命令可以帮助我完成此任务。我可以准备一个定制的工作，将设置所有的工人，但我不相信这是最好的解决方案。有更好的选择吗 编辑： 使用AWS Elastic MapReduce，可以选择在创建集群时定义的引导操作中安装其他软件。我在找类似的东西 您可以使用引导操作安装其他软件并更
发信人：简单的回答是你没有。从缓存的角度来看，这并不理想，但您应该能够将所有作业依赖项捆绑到map reduce jar中，该jar由Thread（Hadoop的一部分）在集群中为您分发。从广义上讲，这对最终用户是透明的，因为所有这些都是通过作业提交过程来处理的
如果您需要一些大型的、跨多个作业共享的依赖项，并且不希望每次都将其复制出来，那么您可以将其保留在wasb://存储上，并在类路径中引用它，但如果您使用的是.NET Streaming API，这可能会导致复杂性。简单的回答是您不需要。从缓存的角度来看，这并不理想，但您应该能够将所有作业依赖项捆绑到map reduce jar中，该jar由Thread（Hadoop的一部分）在集群中为您分发。从广义上讲，这对最终用户是透明的，因为所有这些都是通过作业提交过程来处理的
如果您需要一些大型的、跨多个作业共享的依赖项，并且不希望每次都将其复制出来，那么您可以将其保留在wasb://存储上，并在类路径中引用它，但如果您使用的是.NET Streaming API，这可能会导致复杂性。简单的回答是您不需要。从缓存的角度来看，这并不理想，但您应该能够将所有作业依赖项捆绑到map reduce jar中，该jar由Thread（Hadoop的一部分）在集群中为您分发。从广义上讲，这对最终用户是透明的，因为所有这些都是通过作业提交过程来处理的
如果您需要一些大型的、跨多个作业共享的依赖项，并且不希望每次都将其复制出来，那么您可以将其保留在wasb://存储上，并在类路径中引用它，但如果您使用的是.NET Streaming API，这可能会导致复杂性。简单的回答是您不需要。从缓存的角度来看，这并不理想，但您应该能够将所有作业依赖项捆绑到map reduce jar中，该jar由Thread（Hadoop的一部分）在集群中为您分发。从广义上讲，这对最终用户是透明的，因为所有这些都是通过作业提交过程来处理的
如果您需要某个大型对象，它是跨多个作业的共享依赖项，并且不希望每次都将其复制出来，那么可以将其保留在wasb://存储中，并在类路径中引用它，但是，如果您使用的是.NET流媒体API，这可能会给您带来复杂性。我刚从一个拼贴上听说，我需要更新我的Azure PS，因为最近添加了一个新的Cmdlet
Add-AzureHDInsightScriptAction我刚从一个拼贴上听说我需要更新我的Azure PS，因为最近添加了一个新的Cmdlet
Add-AzureHDInsightScriptAction我刚从一个拼贴上听说我需要更新我的Azure PS，因为最近添加了一个新的Cmdlet
Add-AzureHDInsightScriptAction我刚从一个拼贴上听说我需要更新我的Azure PS，因为最近添加了一个新的Cmdlet
Add-AzureHDInsightScriptAction这是否意味着我应该在本地安装软件，将安装目录中的文件添加到jar中，以便通过Thread分发？这是否意味着我应该在本地安装软件，将安装目录中的文件添加到jar中，以便通过Thread分发？这是否意味着我应该在本地安装软件，将安装目录中的文件添加到jar以使其按Thread分发？这是否意味着我应该在本地安装软件，将安装目录中的文件添加到jar以使其按Thread分发？通过此功能，HDInsight现在提供支持，通过自定义脚本操作安装Spark，。通过此功能，HDInsight现在支持使用自定义脚本操作安装Spark。通过此功能，HDInsight现在支持使用自定义脚本操作安装Spark。通过此功能，HDInsight现在支持使用自定义脚本操作安装Spark。