Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/313.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 下面的链接无法获取数据_Python_Web Scraping_Scrapy - Fatal编程技术网

Python 下面的链接无法获取数据

Python 下面的链接无法获取数据,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我试图遵循一个链接列表,并用一个简单的刮擦蜘蛛从每个链接中删除数据,但我遇到了麻烦 在scrapy shell中,当我重新创建脚本时,它会发送新url的get请求,但当我运行爬网时,我不会从链接中获取任何数据。我得到的唯一数据是从开始的url,这是刮到链接之前 如何从链接中刮取数据 import scrapy class QuotesSpider(scrapy.Spider): name = "players" start_urls = ['http:

我试图遵循一个链接列表,并用一个简单的刮擦蜘蛛从每个链接中删除数据,但我遇到了麻烦

在scrapy shell中,当我重新创建脚本时,它会发送新url的get请求,但当我运行爬网时,我不会从链接中获取任何数据。我得到的唯一数据是从开始的url,这是刮到链接之前

如何从链接中刮取数据

 import scrapy

    class QuotesSpider(scrapy.Spider):
        name = "players"
        start_urls = ['http://wiki.teamliquid.net/counterstrike/Portal:Teams']

        def parse(self, response):
            teams = response.xpath('//*[@id="mw-content-text"]/table[1]')
            for team in teams.css('span.team-template-text'):
                yield{
                    'teamName': team.css('a::text').extract_first()
                }


            urls = teams.css('span.team-template-text a::attr(href)')
            for url in urls:
                url = response.urljoin(url)
                yield scrapy.Request(url, callback=self.parse_team_info)


        def parse_team_info(self, response):
                yield{
                    'Test': response.css('span::text').extract_first()
                }
而不是使用

url = response.urljoin(url)
yield scrapy.Request(url, callback=self.parse_team_info)
使用

而不是使用

url = response.urljoin(url)
yield scrapy.Request(url, callback=self.parse_team_info)
使用


始终使用标记
python
-它突出显示代码并提高可读性。使用
print()
显示变量中的值以及执行代码的哪一部分-这有助于发现问题。始终使用标记
python
-它突出显示代码并提高可读性。使用
print()
显示变量中的值以及执行代码的哪一部分-这有助于发现问题。