Pyspark 如何从azure数据工厂运行python egg(存在于azure databricks中)?
因此,我创建了一个小型pyspark应用程序,并将其转换为一个egg。上传到dbfs:/FileStore/jar/xyz.egg。在ADF中,我使用jar活动。但在主类名文本框中,我不知道该提供什么 我的Pycharm应用程序有三个文件,其中两个基本上是实用程序文件,包含我调用的实用程序函数,主文件的内容是: Main.pyPyspark 如何从azure数据工厂运行python egg(存在于azure databricks中)?,pyspark,azure-data-lake,azure-data-factory-2,egg,Pyspark,Azure Data Lake,Azure Data Factory 2,Egg,因此,我创建了一个小型pyspark应用程序,并将其转换为一个egg。上传到dbfs:/FileStore/jar/xyz.egg。在ADF中,我使用jar活动。但在主类名文本框中,我不知道该提供什么 我的Pycharm应用程序有三个文件,其中两个基本上是实用程序文件,包含我调用的实用程序函数,主文件的内容是: Main.py from CommonUtils import appendZeros from sampleProgram import writedf def main():
from CommonUtils import appendZeros
from sampleProgram import writedf
def main():
appendZeros('zzz')
writedf()
if __name__ == "__main__":
main()
现在在“Main class name”文本框中指定什么?注意:Main class name是“包含要执行的主方法的类的全名。该类必须包含在作为库提供的JAR中。” 下表描述了JSON定义中使用的JSON属性: 参考文献:“” 希望这有帮助
如果回答了您的问题,请单击“标记为答案”和“向上投票”。如果您有任何进一步的疑问,请告诉我们。嘿,谢谢您的回复。。你能举一个例子说明我在提问中写的代码吗?在这种情况下,mainClassName是什么?