如何在Amazon Linux AMI上安装Scrapy
我想使用一个爬虫框架,并将其安装到我的服务器上 这是我的服务器规范 ======================================================== NAME=“Amazon Linux AMI” VERSION=“2015.09” ID=“amzn” ID\u LIKE=“rhel fedora” VERSION_ID=“2015.09” PRETTY_NAME=“亚马逊Linux AMI 2015.09” ANSI_COLOR=“0;33” CPE_NAME=“CPE:/o:amazon:linux:2015.09:ga” 主页地址=”http://aws.amazon.com/amazon-linux-ami/" 亚马逊Linux AMI 2015.09版 ======================================================== 我已经阅读了很多关于这方面的网页,并遵循了这些步骤。 但我总是会出错 我使用了命令如何在Amazon Linux AMI上安装Scrapy,scrapy,Scrapy,我想使用一个爬虫框架,并将其安装到我的服务器上 这是我的服务器规范 ======================================================== NAME=“Amazon Linux AMI” VERSION=“2015.09” ID=“amzn” ID\u LIKE=“rhel fedora” VERSION_ID=“2015.09” PRETTY_NAME=“亚马逊Linux AMI 2015.09” ANSI_COLOR=“0;33” CPE_NAME=
sudopip install scrapy
,得到了这个日志
这是红色原木
-> Failed building wheel for lxml
-> Command "/usr/bin/python -c "import setuptools, tokenize;__file__='/tmp/pip-build-lT29Ha/lxml/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record /tmp/pip-WTCmji-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-build-lT29Ha/lxml
我花了两天的时间来安装Scrapy。请帮帮我。我昨天刚在AWS上做了这个。我使用了一个nano实例,因此需要先添加一些交换
sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo echo "/swapfile swap swap sw 0 0" >> /etc/fstab
sudo swapon /swapfile
然后安装必备软件和scrapy:
sudo su
yum update -y
yum install python-pip -y
yum install python-devel -y
yum install gcc gcc-devel -y
yum install libxml2 libxml2-devel -y
yum install libxslt libxslt-devel -y
yum install openssl openssl-devel -y
yum install libffi libffi-devel -y
CFLAGS="-O0" pip install lxml
pip install scrapy
scrapy -v
我昨天刚在AWS上做的。我使用了一个nano实例,因此需要先添加一些交换
sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo echo "/swapfile swap swap sw 0 0" >> /etc/fstab
sudo swapon /swapfile
然后安装必备软件和scrapy:
sudo su
yum update -y
yum install python-pip -y
yum install python-devel -y
yum install gcc gcc-devel -y
yum install libxml2 libxml2-devel -y
yum install libxslt libxslt-devel -y
yum install openssl openssl-devel -y
yum install libffi libffi-devel -y
CFLAGS="-O0" pip install lxml
pip install scrapy
scrapy -v
固定语言/语法固定语言/语法