如何在Amazon Linux AMI上安装Scrapy

如何在Amazon Linux AMI上安装Scrapy,scrapy,Scrapy,我想使用一个爬虫框架,并将其安装到我的服务器上 这是我的服务器规范 ======================================================== NAME=“Amazon Linux AMI” VERSION=“2015.09” ID=“amzn” ID\u LIKE=“rhel fedora” VERSION_ID=“2015.09” PRETTY_NAME=“亚马逊Linux AMI 2015.09” ANSI_COLOR=“0;33” CPE_NAME=

我想使用一个爬虫框架,并将其安装到我的服务器上

这是我的服务器规范

========================================================

NAME=“Amazon Linux AMI”

VERSION=“2015.09”

ID=“amzn”

ID\u LIKE=“rhel fedora”

VERSION_ID=“2015.09”

PRETTY_NAME=“亚马逊Linux AMI 2015.09”

ANSI_COLOR=“0;33”

CPE_NAME=“CPE:/o:amazon:linux:2015.09:ga”

主页地址=”http://aws.amazon.com/amazon-linux-ami/"

亚马逊Linux AMI 2015.09版

========================================================

我已经阅读了很多关于这方面的网页,并遵循了这些步骤。 但我总是会出错

我使用了命令
sudopip install scrapy
,得到了这个日志

这是红色原木

-> Failed building wheel for lxml

-> Command "/usr/bin/python -c "import setuptools, tokenize;__file__='/tmp/pip-build-lT29Ha/lxml/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record /tmp/pip-WTCmji-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-build-lT29Ha/lxml

我花了两天的时间来安装Scrapy。请帮帮我。

我昨天刚在AWS上做了这个。我使用了一个nano实例,因此需要先添加一些交换

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo echo "/swapfile swap swap sw 0 0" >> /etc/fstab
sudo swapon /swapfile
然后安装必备软件和scrapy:

sudo su
yum update -y
yum install python-pip -y
yum install python-devel -y
yum install gcc gcc-devel -y
yum install libxml2 libxml2-devel -y
yum install libxslt libxslt-devel -y
yum install openssl openssl-devel -y
yum install libffi libffi-devel -y
CFLAGS="-O0" pip install lxml
pip install scrapy
scrapy -v

我昨天刚在AWS上做的。我使用了一个nano实例,因此需要先添加一些交换

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo echo "/swapfile swap swap sw 0 0" >> /etc/fstab
sudo swapon /swapfile
然后安装必备软件和scrapy:

sudo su
yum update -y
yum install python-pip -y
yum install python-devel -y
yum install gcc gcc-devel -y
yum install libxml2 libxml2-devel -y
yum install libxslt libxslt-devel -y
yum install openssl openssl-devel -y
yum install libffi libffi-devel -y
CFLAGS="-O0" pip install lxml
pip install scrapy
scrapy -v

固定语言/语法固定语言/语法