Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/.net/22.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
.net 如何使用docker映像执行Dotnet apache spark? 我已经用Dotnet SDK创建了docker文件 复制了我的控制台的调试文件夹 创建包含运行dotnet pyspark应用程序所需的所有软件的包(文件夹),并将其复制到我的映像文件中_.net_Apache Spark_Dockerfile_Image File - Fatal编程技术网

.net 如何使用docker映像执行Dotnet apache spark? 我已经用Dotnet SDK创建了docker文件 复制了我的控制台的调试文件夹 创建包含运行dotnet pyspark应用程序所需的所有软件的包(文件夹),并将其复制到我的映像文件中

.net 如何使用docker映像执行Dotnet apache spark? 我已经用Dotnet SDK创建了docker文件 复制了我的控制台的调试文件夹 创建包含运行dotnet pyspark应用程序所需的所有软件的包(文件夹),并将其复制到我的映像文件中,.net,apache-spark,dockerfile,image-file,.net,Apache Spark,Dockerfile,Image File,在下面找到Docker图像的详细信息 FROM mcr.microsoft.com/dotnet/sdk:5.0 WORKDIR /app/Debug COPY ./Debug . WORKDIR /app/DotnetSpark.Package COPY ./DotnetSpark.Package . ENV HADOOP_HOME=C:/app/DotnetSpark.Package/hadoop ENV SPARK_HOME=C:/app/DotnetSpark.Package/

在下面找到Docker图像的详细信息

FROM mcr.microsoft.com/dotnet/sdk:5.0

WORKDIR /app/Debug

COPY ./Debug .

WORKDIR /app/DotnetSpark.Package

COPY ./DotnetSpark.Package .

ENV HADOOP_HOME=C:/app/DotnetSpark.Package/hadoop
ENV SPARK_HOME=C:/app/DotnetSpark.Package/spark-3.0.0-bin-hadoop2.7
ENV DOTNET_WORKER_DIR=C:/app/DotnetSpark.Package/Microsoft.Spark.Worker-1.0.0
ENV DOTNET_ASSEMBLY_SEARCH_PATHS=C:/app/Debug
ENV JAVA_HOME=C:/app/DotnetSpark.Package/java
ENV DOTNET="C:/Program Files/dotnet"
ENV TEMP=C:/Windows/Temp
ENV TMP=C:/Windows/Temp

PATH=${HADOOP_HOME}/bin;${SPARK_HOME}/bin;${DOTNET_WORKER_DIR};${JAVA_HOME}/bin;${DOTNET};C:/Windows/system32;C:/Windows;${TEMP};${TMP}

ENTRYPOINT ["cmd.exe"]
运行这个docker之后,cmd提示符被打开,然后我尝试执行下面的命令

spark提交--类org.apache.spark.deploy.dotnet.DotnetRunner--主本地“c:\app\debug” \packages\Microsoft.Spark.1.0.0\jars\Microsoft-Spark-3-0\u 2.12-1.0.0.jar“c:\app\debug\Spark\u app.exe”

但这个命令并没有抛出任何异常或结果,我得到的结果如下图所示

有谁能帮我解决问题,或者建议一种使用docker运行dotnet pyspark的方法吗