分发大型、复杂的Python项目的最佳方法是,让它们完全为其他用户安装,而不考虑操作系统?
如何确保分发具有较大依赖项的Python包(如NumPy和SciPy)能够自动正确安装到用户的计算机上,而不管用户的操作系统是什么分发大型、复杂的Python项目的最佳方法是,让它们完全为其他用户安装,而不考虑操作系统?,python,operating-system,pip,conda,Python,Operating System,Pip,Conda,如何确保分发具有较大依赖项的Python包(如NumPy和SciPy)能够自动正确安装到用户的计算机上,而不管用户的操作系统是什么 问题是,许多这样的软件包都是通过pip的主通道轻松安装的,包括上面提到的那些…我并不认为这是完美的,但下面是我在实践中发现的真正强大的功能:一个install.sh脚本,最初是为一个名为。我们的目标是确保用户只需运行/install.sh,然后所有需要的pip安装此和pip安装即可在任何情况下成功(即使对于全新的服务器),而不管您使用的是什么操作系统。(我真希望操作
问题是,许多这样的软件包都是通过
pip
的主通道轻松安装的,包括上面提到的那些…我并不认为这是完美的,但下面是我在实践中发现的真正强大的功能:一个install.sh
脚本,最初是为一个名为。我们的目标是确保用户只需运行/install.sh
,然后所有需要的pip安装此和pip安装即可在任何情况下成功(即使对于全新的服务器),而不管您使用的是什么操作系统。(我真希望操作系统不可知安装是行业标准,至少在MacOSX和每个Linux发行版中都是如此……)
可以直接跳到代码,但对于那些需要解释的人来说:这个install.sh
脚本严重依赖于包分发管理器,它工作得非常好,因为它可以自动构建特定于操作系统的轮子。下面的安装代码首先检查用户的操作系统,然后安装相应的Conda发行版(如果在Mac OSX和Linux上,在本例中),最后根据需要通过Conda安装所有剩余的依赖项。另外,请注意,如果检测到Linux终端,它首先确保所需的编译库可以通过例如sudo apt get install python dev
(因为用户经常缺少gcc
或其他内容),最后这会自动将Conda添加到用户路径中,用于bash
和zshell
,这似乎涵盖了大多数终端(但可能不是,请随意添加)。虽然有很多建议,但实际上这提供了一个非常好的用户体验,可以帮助用户立即启动并运行您正在分发的新的复杂Python库,因为您可以通过尝试立即下载并运行来测试自己。如果对每个人都有意义/使其更好/更清晰,则强烈鼓励对此进行编辑。好的,开始表演吧
#!/bin/bash
download_miniconda() {
echo "Downloading Miniconda for Python dependencies..."
OS_BIT_TYPE="$(uname -m)"
OS_ARCHITECTURE="$(uname -s)"
if [ $OS_BIT_TYPE == "i686" ]; then
OS_BIT_TYPE="x86"
fi
if [ $OS_ARCHITECTURE == "Darwin" ]; then
OS_ARCHITECTURE="MacOSX"
fi
MINICONDA_INSTALL_FILE="Miniconda2-latest-$OS_ARCHITECTURE-$OS_BIT_TYPE.sh"
MINICONDA_DOWNLOAD_URL="https://repo.continuum.io/miniconda/$MINICONDA_INSTALL_FILE"
$(curl -O $MINICONDA_DOWNLOAD_URL)
$(chmod +x $MINICONDA_INSTALL_FILE)
}
install_miniconda() {
echo "Installing Miniconda..."
echo "$(./$MINICONDA_INSTALL_FILE -b -p $HOME/miniconda)"
echo "$(rm $MINICONDA_INSTALL_FILE)"
}
confirm_miniconda_installed() {
if hash conda 2>/dev/null; then
echo "Miniconda installed!"
else
echo "Failed to install Miniconda. Please visit http://conda.pydata.org/docs/install/quick.html to install and then try rerunning this script, making sure that Miniconda is accessible in the PATH"
fi
}
update_script_startup_file() {
echo "if [[ \":\$PATH:\" != *\":\$HOME/miniconda/bin:\"* ]]; then" >> $STARTUP_FILE
echo " export PATH=\"\$PATH:\$HOME/miniconda/bin\"" >> $STARTUP_FILE
echo "fi" >> $STARTUP_FILE
}
add_miniconda_to_path() {
# temporary update to PATH for this script
export PATH="$PATH:$HOME/miniconda/bin"
# permanent update to PATH for user's convenience
if [ -n "`$SHELL -c 'echo $BASH_VERSION'`" ]; then
STARTUP_FILE="$HOME/.bashrc"
update_script_startup_file
elif [ -n "`$SHELL -c 'echo $ZSH_VERSION'`" ]; then
STARTUP_FILE="$HOME/.zshrc"
update_script_startup_file
else
echo "Couldn't automatically add Miniconda to the PATH of your preferred terminal. We suggest working from Bash or ZShell."
fi
}
install_conda_if_needed() {
if hash conda 2>/dev/null; then
echo "Miniconda installed!"
else
if ping -c 1 google.com >> /dev/null 2>&1; then
download_miniconda
install_miniconda
add_miniconda_to_path
confirm_miniconda_installed
else
echo "Looks like you're offline! Please address this and then try rerunning this script."
fi
fi
}
create_conda_environment() {
if hash conda 2>/dev/null; then
CONDA_ENVIRONMENTS="$(conda env list)"
if [[ "$CONDA_ENVIRONMENTS" != *"words2map"* ]]; then
conda create --name words2map --yes cython scikit-learn gensim seaborn
fi
fi
}
install_developer_libraries_as_needed() {
OS_ARCHITECTURE="$(uname -s)"
if [ $OS_ARCHITECTURE == "Linux" ]; then
echo "$(python -mplatform | grep -qi Ubuntu && sudo apt-get update && sudo apt-get install python-dev || sudo yum update -y && sudo yum install python-devel -y && sudo yum groupinstall "Development Tools" -y)"
fi
}
install_python_dependencies() {
if hash conda 2>/dev/null; then
echo 'Installing Python dependencies for words2map...'
source activate words2map
install_developer_libraries_as_needed
pip install hdbscan pattern semidbm nltk unidecode
source deactivate
fi
}
refresh_user_shell() {
if [ -n "`$SHELL -c 'echo $BASH_VERSION'`" ]; then
exec bash
elif [ -n "`$SHELL -c 'echo $ZSH_VERSION'`" ]; then
exec zsh
fi
}
install_conda_if_needed
create_conda_environment
install_python_dependencies
refresh_user_shell
legel建议的问题在于,您最终仍然依赖于用户的环境来部署应用程序
在过去,我有过类似的安装脚本,可以完成部署我的应用程序的所有繁琐工作,但它仍然依赖于网络连接来下载软件包和依赖项。我已经通过创建docker容器克服了这一点。我将用我的应用程序和所有依赖项构建一个容器,创建一个新的docker映像,并向客户提供docker映像。唯一的依赖是系统上有docker,运行我的应用程序的方法是使用docker run
打包所有依赖项的另一种方法是使用它创建一个独立的应用程序来打包所有依赖的模块。免责声明:我还没有在任何大型应用程序上使用它,我刚刚开始测试它,到目前为止,它适用于较小的程序
希望这有帮助 谢谢你的反馈!我也调查了Docker,但有点被一些事情吓坏了。。。首先,到目前为止,他们对Mac的支持仍然是“公开测试版”(据我回忆,这是一个新的发展)。他们的整体平台看起来也非常庞大。。。e、 g.“至少4GB的RAM”是Mac教程所描述的,这将立即阻止像我这样喜欢EC2微实例的人,因为EC2微实例只有1GB的RAM。相比之下,康达轻量化且完全跨平台。但也许我错过了什么?PyInstaller看起来很酷,值得一看。