在azure上提交用python编写的批处理作业_Python_Azure_Curl_Batch Processing_Azure Hdinsight

在azure上提交用python编写的批处理作业

python azure curl

在azure上提交用python编写的批处理作业,python,azure,curl,batch-processing,azure-hdinsight,Python,Azure,Curl,Batch Processing,Azure Hdinsight,如何在azure上提交用python编写的批处理作业。我正在寻找类似的东西，但不是java，而是python curl -k --user "admin:mypassword1!" -v -H 'Content-Type: application/json' -X POST -d '{ "file":"wasb://mycontainer@mystorageaccount.blob.core.windows.net/data/SparkSimpleTest.jar", "className":"

如何在azure上提交用python编写的批处理作业。我正在寻找类似的东西，但不是java，而是python

curl -k --user "admin:mypassword1!" -v -H 'Content-Type: application/json' -X POST -d '{ "file":"wasb://mycontainer@mystorageaccount.blob.core.windows.net/data/SparkSimpleTest.jar", "className":"com.microsoft.spark.test.SimpleFile" }' "https://mysparkcluster.azurehdinsight.net/livy/batches"

Java和Python的MapReduce作业是不同的

JavaMapReduce程序将jar文件打包为直接在Hadoop上运行的作业

但是python MapReduce作业被分为两个文件

mapper.py

和

reducer.py

，它们通过

STDIN

和

STDOUT

在Hadoop流媒体上运行

请参考文档，将mapper&reducer python脚本上载到HDInsight中，然后编写一个shell脚本作为在Hadoop上运行的作业。

Java和python的MapReduce作业不同

JavaMapReduce程序将jar文件打包为直接在Hadoop上运行的作业

但是python MapReduce作业被分为两个文件

mapper.py

和

reducer.py

，它们通过

STDIN

和

STDOUT

在Hadoop流媒体上运行

请参考文档，将mapper&reducer python脚本上传到HDInsight中，然后编写一个shell脚本作为在Hadoop上运行的作业