Kubernetes ModuleNotFoundError:没有名为';pyarrow';来自dockler图像和Alpine PypSpark

Kubernetes ModuleNotFoundError:没有名为';pyarrow';来自dockler图像和Alpine PypSpark,kubernetes,pyspark,alpine,pyarrow,Kubernetes,Pyspark,Alpine,Pyarrow,我从以下方面构建了一个图像: 下载后,我会: cd spark-2.4.4-bin-hadoop2.7&&bin/docker-image-tool.sh build 然后,我的图像spark py:latest被构建 我想使用此docker文件在其中安装pyarrow: 来自spark py的最新版本 复制*.jar/opt/spark/jars/ 运行rm/opt/spark/jars/kubernetes-*-4.1.2.jar 运行pip安装--无缓存 但我有一个错误: ------

我从以下方面构建了一个图像:

下载后,我会:

cd spark-2.4.4-bin-hadoop2.7&&bin/docker-image-tool.sh build
然后,我的图像
spark py:latest
被构建

我想使用此docker文件在其中安装pyarrow:

来自spark py的
最新版本
复制*.jar/opt/spark/jars/
运行rm/opt/spark/jars/kubernetes-*-4.1.2.jar
运行pip安装--无缓存
但我有一个错误:

------
>[11/11]运行python3-m pip安装--无缓存--无deps pyarrow:
#15 0.772如箭头所示
#15 0.887下载pyarrow-2.0.0.tar.gz(58.9 MB)
#15.6.265安装生成依赖项:已开始
#15 12.45安装生成依赖项:已完成,状态为“错误”
#15 12.45错误:命令出错,退出状态1:
#15 12.45命令:/usr/bin/python3/usr/lib/python3.6/site-packages/pip安装--忽略已安装--无用户--前缀/tmp/pip-build-env-ix28sqos/overlay--无警告脚本位置--无二进制文件:无--仅二进制文件:无:-ihttps://pypi.org/simple --“cython>=0.29”numpy==1.14.5;python_version='''''''''3.7''''''''''''设置工具设置工具\u scm控制盘
#15 12.45 cwd:无
#15 12.45完整输出(687行):
#15 12.45忽略numpy:标记“python\u version>=“3.7”与您的环境不匹配
#15 12.45收集cython>=0.29
#15 12.45下载Cython-0.29.21-py2.py3-none-any.whl(974KB)
#15 12.45收集numpy==1.14.5
#15 12.45下载numpy-1.14.5.zip(4.9 MB)
#15 12.45收集工具
#15 12.45下载setuptools-50.3.2-py3-none-any.whl(785 kB)
#15 12.45收集设置工具\u scm
#15 12.45下载setuptools_scm-4.1.2-py2.py3-none-any.whl(27 kB)
#15 12.45收集轮
#15 12.45使用缓存的控制盘-0.35.1-py2.py3-none-any.whl(33 kB)
#15 12.45收集包裹的建筑轮子:numpy
#15 12.45为numpy构建控制盘(setup.py):已启动
#15 12.45为numpy构建控制盘(setup.py):完成状态为“error”
#15 12.45错误:命令出错,退出状态1:
#15 12.45命令:/usr/bin/python3-u-c'import sys,setuptools,tokenize;sys.argv[0]=''''/tmp/pip install-_awsg160/numpy/setup.py''__文件''''''/tmp/pip install-'\u awsg160/numpy/setup.py'''''';f=getattr(标记化,“'open'”,open)(\uuuuu文件);code=f.read().replace(“\r\n”“”、“\n”“”);f、 close();exec(编译(代码,“文件”“exec”))“bdist\u wheel-d/tmp/pip wheel rrkjosdy
#15 12.45 cwd:/tmp/pip安装-\u awsg160/numpy/
#15 12.45完整输出(323行):
#15 12.45从numpy源目录运行。
#15 12.45 blas_opt_信息:
#15 12.45 blas_mkl_信息:
#15 12.45自定义UnixC编译器
#15 12.45在['/usr/local/lib','/usr/lib','/usr/lib/']中找不到库mkl_rt
#15 12.45不可用
#15 12.45
#15 12.45 blis_信息:
#15 12.45自定义UnixC编译器
#15 12.45在['/usr/local/lib','/usr/lib','/usr/lib/']中找不到库BLI
#15 12.45不可用
#15 12.45
#15 12.45
#15 12.45/usr/lib/python3.6/distutils/dist.py:261:UserWarning:未知的分发选项:“define_macros”
#15 12.45警告。警告(msg)
#15.12.45运行的制动盘
#15 12.45运行版本
#15 12.45运行配置\u cc
#15 12.45统一配置\u cc、配置、构建\u clib、构建\u ext、构建命令--编译器选项
#15 12.45运行配置\u fc
#15 12.45统一配置、配置、构建、clib、构建、扩展、构建命令——fcompiler选项
#15 12.45正在运行的构建\u src
#15.12.45建筑钢结构混凝土
#15 12.45建筑py_模块源
#15.12.45创建构建
#15 12.45创建build/src.linux-x86_64-3.6
#15 12.45创建build/src.linux-x86_64-3.6/numpy
#15 12.45创建build/src.linux-x86_64-3.6/numpy/distutils
#15 12.45建筑图书馆“npymath”资料来源
#15 12.45 get_default_fcompiler:匹配类型:“['gnu95'、'intel'、'lahey'、'pg'、'Absolft'、'nag'、'vast'、'compaq'、'intele'、'intelem'、'gnu'、'g95'、'pathf95'、'nagfor']”
#15 12.45定制GNU95F编译器
#15 12.45找不到可执行文件gfortran
#15 12.45找不到可执行文件f95
#15 12.45自定义英特尔编译器
#15 12.45找不到可执行ifort
#15 12.45找不到可执行ifc
#15 12.45定制Laheyf编译器
#15 12.45找不到可执行文件lf95
#15 12.45定制PGroupFCompiler
#15 12.45找不到可执行pgfortran
#15 12.45 FTF压缩机
#15 12.45找不到可执行文件f90
#15 12.45找不到可执行文件f77
#15 12.45定制NAGFCompiler
#15 12.45定制FCompiler
#15 12.45自定义编译器
#15 12.45找不到可执行文件
#15 12.45自定义IntelitaniumF编译器
#15 12.45找不到可执行文件efort
#15 12.45找不到可执行efc
#15 12.45自定义Intelem64TF编译器
#15 12.45定制GNUF编译器
#15 12.45找不到可执行文件g77
#15 12.45定制G95F压缩机
#15 12.45找不到可执行文件g95
#15 12.45自定义PathScaleF编译器
#15 12.45找不到可执行文件路径F95
#15 12.45自定义编译器
#15 12.45找不到的可执行文件
#15 12.45不知道如何在“posix”平台上编译Fortran代码
#15 12.45 C编译器:gcc-Wno unused result-Wsign compare-DNDEBUG-g-fwrapv-O3-Wall-Os-fomit frame pointer-g-Os-fomit frame pointer-g-Os-fomit frame pointer-g-DTHREAD_STACK_SIZE=0x100000-fPIC
#15 12.45
#15 12.45编译选项:'-Inumpy/core/src/private-Inumpy/core/src-Inumpy/core/src-Inumpy/core/npymath-Inumpy/core/src/multiarray-Inumpy/core/src/umath-Inumpy/core/src/npysort-I/usr/include/python3.6m-c'
#15 12.45 gcc:_configtest.c
#15 12.45 gcc_configtest.o
FROM spark-py:latest
COPY *.jar /opt/spark/jars/
RUN rm /opt/spark/jars/kubernetes-*-4.1.2.jar

ENV ARROW_VERSION 0.16.0

ENV BUILD_PACKAGES git make cmake g++
ENV RUNTIME_PACKAGES boost-dev

RUN apk add --no-cache $BUILD_PACKAGES $RUNTIME_PACKAGES && \
    git clone \
      --single-branch \
      --depth 1 \
      --branch apache-arrow-$ARROW_VERSION \
      https://github.com/apache/arrow && \
    cd arrow && \
    cmake \
      -DCMAKE_BUILD_TYPE=Release \
      -DARROW_BUILD_TESTS=Off \
      cpp/ && \
    make && make install && \
    cd .. && rm -rf arrow && \
    apk del $BUILD_PACKAGES
ModuleNotFoundError: No module named 'pyarrow'