Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/selenium/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 交互式从网站上的表单中抓取数据_Python_Selenium_Web Scraping_Beautifulsoup_Scrapy - Fatal编程技术网

Python 交互式从网站上的表单中抓取数据

Python 交互式从网站上的表单中抓取数据,python,selenium,web-scraping,beautifulsoup,scrapy,Python,Selenium,Web Scraping,Beautifulsoup,Scrapy,我是个新手,一般来说不熟悉python。我有一个任务给我自己。实际上我需要从表单中提取一些数据。我已经学会了如何从HTML元素中提取数据,但这对我来说有点棘手。任务应如下所示: 1.我需要登录网站 2.转到特定的URL 3.然后我需要以某种方式从表单中提取所有数据 出现问题的原因是,选择上一个下拉按钮时,会显示下一个下拉按钮的数据。显示站点外观及其旁边的源代码的图片 import scrapy class AutoscoutSpider(scrapy.Spider): name

我是个新手,一般来说不熟悉python。我有一个任务给我自己。实际上我需要从表单中提取一些数据。我已经学会了如何从HTML元素中提取数据,但这对我来说有点棘手。任务应如下所示:
1.我需要登录网站
2.转到特定的URL
3.然后我需要以某种方式从表单中提取所有数据
出现问题的原因是,选择上一个下拉按钮时,会显示下一个下拉按钮的数据。显示站点外观及其旁边的源代码的图片

    import scrapy

class AutoscoutSpider(scrapy.Spider):
    name = 'autoscout'
    allowed_domains = ['autoscout24.de']
    login_url = 'https://angebot.autoscout24.de/login?fromNavi=myAS24'
    start_urls = [login_url]

    def parse(self, response):
        token = response.css('input[name="__RequestVerificationToken"]::attr(value)').extract_first()
        podaci = {
        '__RequestVerificationToken' : token,
        'Username': '*********',
        'Password' : '********',
        }
        pass

这就是我到目前为止所做的,我刚刚开始再次制作蜘蛛。我正在使用scrapy framework

你能分享你的代码吗?需要更多信息:你的代码试用、错误跟踪(如果有)、URL(如果是公共的)。