Python 在运行时构建多个控制盘

我想在运行时构建包含一些脚本和一些有效负载数据的控制盘。例如，在本例中，

target

文件夹包含两个简单的版本

build_123

和

build_124

，它们将打包为一个控制盘

main_project
├── __init__.py
├── whl_util.py               # wheel building script posted below
target/
├── build_123/                # contains one build to be packaged as a whl
│   └── mypkg
|       ├── __init__.py
│       ├── data
|       |   ├── __init__.py
|       |   └── mat.json
│       └── main
|           ├── __init__.py
|           └── dumpmat.py
└── build_124/                # contains another build to be packaged as a whl
    └── mypkg
        ├── ...

在我的场景中，这个轮子被用作输出格式，打包并不是主要的进展。控制盘打包应被视为一个简单的IO操作，读取构建文件夹并输出控制盘，除此之外没有任何副作用。为了执行此任务，我提出了以下解决方案：

# main_project/whl_util.py
from setuptools import setup, find_packages
import sys
import shutil
import os

def bdist_wheel(build_dir=".", dist_dir=None):
    # backing up argv to restore them afterwards
    argv_bak = sys.argv[:]

    # clear args from running script with "bdist_wheel"
    file = sys.argv[0]
    sys.argv.clear()
    sys.argv.extend([file, "bdist_wheel"])

    if dist_dir is not None and "--dist-dir" not in sys.argv:
        sys.argv.extend(["--dist-dir", dist_dir])

    sys.argv.extend(["clean", "--all"])

    setup(
        name="mypkg",
        version=0.1,
        packages=find_packages(build_dir),
        install_requires=[],
        include_package_data=True,
        package_dir={'': build_dir},
        package_data={"mypkg.data": ["mat.json"]}
    )

    # restore args
    sys.argv.clear()
    sys.argv.extend(argv_bak)


def main():
    # Adding main method here for testing.
    # As mentioned in my actual scenario the wheels should be built as an output format at runtime
    print("BUILD 123")
    bdist_wheel("target/build_123", dist_dir="target/dist_123")
    print("BUILD 124")
    bdist_wheel("target/build_124", dist_dir="target/dist_124")

if __name__ == "__main__":
    main()

我也不太喜欢通过

sys.argv

向

setuptools

传递参数的方式，但这似乎是唯一的方式。但是，主要问题是，第一个控制盘是正常构建的，而第二次调用

bdist_wheel

/

setup

会引发错误：

python3 -m main_project.whl_util
BUILD 123
running bdist_wheel
running build
running build_py
creating build
creating build/lib
creating build/lib/mypkg
copying target/build_123/mypkg/__init__.py -> build/lib/mypkg
creating build/lib/mypkg/data
copying target/build_123/mypkg/data/__init__.py -> build/lib/mypkg/data
creating build/lib/mypkg/main
copying target/build_123/mypkg/main/__init__.py -> build/lib/mypkg/main
copying target/build_123/mypkg/main/dumpmat.py -> build/lib/mypkg/main
running egg_info
writing target/build_123/mypkg.egg-info/PKG-INFO
writing dependency_links to target/build_123/mypkg.egg-info/dependency_links.txt
writing top-level names to target/build_123/mypkg.egg-info/top_level.txt
writing manifest file 'target/build_123/mypkg.egg-info/SOURCES.txt'
copying target/build_123/mypkg/data/mat.json -> build/lib/mypkg/data
installing to build/bdist.linux-x86_64/wheel
running install
running install_lib
creating build/bdist.linux-x86_64
creating build/bdist.linux-x86_64/wheel
creating build/bdist.linux-x86_64/wheel/mypkg
copying build/lib/mypkg/__init__.py -> build/bdist.linux-x86_64/wheel/mypkg
creating build/bdist.linux-x86_64/wheel/mypkg/data
copying build/lib/mypkg/data/__init__.py -> build/bdist.linux-x86_64/wheel/mypkg/data
copying build/lib/mypkg/data/mat.json -> build/bdist.linux-x86_64/wheel/mypkg/data
creating build/bdist.linux-x86_64/wheel/mypkg/main
copying build/lib/mypkg/main/__init__.py -> build/bdist.linux-x86_64/wheel/mypkg/main
copying build/lib/mypkg/main/dumpmat.py -> build/bdist.linux-x86_64/wheel/mypkg/main
running install_egg_info
Copying target/build_123/mypkg.egg-info to build/bdist.linux-x86_64/wheel/mypkg-0.1-py3.7.egg-info
running install_scripts
creating build/bdist.linux-x86_64/wheel/mypkg-0.1.dist-info/WHEEL
creating 'target/dist_123/mypkg-0.1-py3-none-any.whl' and adding 'build/bdist.linux-x86_64/wheel' to it
adding 'mypkg/__init__.py'
adding 'mypkg/data/__init__.py'
adding 'mypkg/data/mat.json'
adding 'mypkg/main/__init__.py'
adding 'mypkg/main/dumpmat.py'
adding 'mypkg-0.1.dist-info/METADATA'
adding 'mypkg-0.1.dist-info/WHEEL'
adding 'mypkg-0.1.dist-info/top_level.txt'
adding 'mypkg-0.1.dist-info/RECORD'
removing build/bdist.linux-x86_64/wheel
BUILD 124
running bdist_wheel
running build
running build_py
copying target/build_124/mypkg/__init__.py -> build/lib/mypkg
error: could not create 'build/lib/mypkg/__init__.py': No such file or directory

Process finished with exit code 1

无此类文件或目录

错误表明

设置工具

模块跟踪已创建的文件夹，并假设这些文件夹仍然存在。但是，在构建第一个控制盘之后，

clean

脚本将删除构建的文件夹（这是必要的，因为

setuptools

将在不清除文件夹的情况下重用该文件夹）

我唯一可行的解决方案是在应用

设置之前完成这个过程：

pid = os.fork()
if pid == 0:
    setup(...)
    sys.exit(0)
os.waitpid(pid, 0)

但是，因为这看起来非常脏，而且我的主进程非常占用内存，所以我宁愿避免使用这种方法

那么我的主要问题是：
有没有办法制造一个没有任何副作用的轮子？或者在应用
设置
后，是否有办法重置
设置工具
模块的状态？在最佳情况下，我希望在内存
PyFilesystem
中创建控制盘，并且只将控制盘写入磁盘。
我不确定setuptools是否打算以这种方式使用。据我所知，pip和co.（wheel、setuptools等）并没有真正的公共API，或者至少没有友好的API

distlib
库看起来是一个具有实际API的有前途的替代品。看

如果这不起作用，那么我可能会尝试其中一种：

subprocess.check_call([sys.executable, '-m', 'wheel', 'pack', 'target/build123'])

看

看。中说明了它不能与API调用一起使用的原因


有一个类似的问题，其中有一些有趣的想法：




也许在运行时动态生成
setup.py
会有所帮助。
我认为
子流程
方法确实是最好的方法。我现在用
distlib
和
setuptools.sandbox
package（正如您上一个链接所建议的）尝试了很多方法，但对结果不太满意。然而，我发现在我的例子中，将代码打包为
zip
也可以工作，这允许我在内存中完全构建文件。
subprocess.check_call([sys.executable, '-m', 'pip', 'wheel', 'target/build123'])