Python 交互式从网站上的表单中抓取数据
我是个新手,一般来说不熟悉python。我有一个任务给我自己。实际上我需要从表单中提取一些数据。我已经学会了如何从HTML元素中提取数据,但这对我来说有点棘手。任务应如下所示:Python 交互式从网站上的表单中抓取数据,python,selenium,web-scraping,beautifulsoup,scrapy,Python,Selenium,Web Scraping,Beautifulsoup,Scrapy,我是个新手,一般来说不熟悉python。我有一个任务给我自己。实际上我需要从表单中提取一些数据。我已经学会了如何从HTML元素中提取数据,但这对我来说有点棘手。任务应如下所示: 1.我需要登录网站 2.转到特定的URL 3.然后我需要以某种方式从表单中提取所有数据 出现问题的原因是,选择上一个下拉按钮时,会显示下一个下拉按钮的数据。显示站点外观及其旁边的源代码的图片 import scrapy class AutoscoutSpider(scrapy.Spider): name
1.我需要登录网站
2.转到特定的URL
3.然后我需要以某种方式从表单中提取所有数据
出现问题的原因是,选择上一个下拉按钮时,会显示下一个下拉按钮的数据。显示站点外观及其旁边的源代码的图片
import scrapy
class AutoscoutSpider(scrapy.Spider):
name = 'autoscout'
allowed_domains = ['autoscout24.de']
login_url = 'https://angebot.autoscout24.de/login?fromNavi=myAS24'
start_urls = [login_url]
def parse(self, response):
token = response.css('input[name="__RequestVerificationToken"]::attr(value)').extract_first()
podaci = {
'__RequestVerificationToken' : token,
'Username': '*********',
'Password' : '********',
}
pass
这就是我到目前为止所做的,我刚刚开始再次制作蜘蛛。我正在使用scrapy framework你能分享你的代码吗?需要更多信息:你的代码试用、错误跟踪(如果有)、URL(如果是公共的)。