Scrapy pythonwebscraper有问题吗

Scrapy pythonwebscraper有问题吗,scrapy,Scrapy,我是个新手,希望能得到一些帮助,或者只是朝着正确的方向努力。我目前尝试使用scrapy,但根本无法让它工作。 我想做的是从中获得标题、插曲和HTML5视频播放器链接的+不同质量(480p、720p等)。我不确定我是如何从iframe元素中获取视频src的 如前所述,任何帮助都将非常有用 我不曾有过Scrapy的经验,但我自己正处在一个Python网络擦伤项目的中间。我用BeautifulSoup刮 我已经编写了部分代码-这将获取所有的标题、剧集、缩略图,并将链接加载到新页面进行进一步处理。如果您

我是个新手,希望能得到一些帮助,或者只是朝着正确的方向努力。我目前尝试使用scrapy,但根本无法让它工作。 我想做的是从中获得标题、插曲和HTML5视频播放器链接的+不同质量(480p、720p等)。我不确定我是如何从iframe元素中获取视频src的

如前所述,任何帮助都将非常有用


我不曾有过Scrapy的经验,但我自己正处在一个Python网络擦伤项目的中间。我用BeautifulSoup刮

我已经编写了部分代码-这将获取所有的标题、剧集、缩略图,并将链接加载到新页面进行进一步处理。如果您遇到更多问题,请留言;)

编辑:上面的代码是针对python3的。请澄清。

(作为另一个答案发布,因为注释会删除换行符):

当然,很乐意帮忙;)你走得很对,所以要坚持下去。我想知道为什么您要使用
find_all('iframe')
,因为我找不到任何具有多个
iframe
的示例,但我想它也同样有效。如果您知道只有一个,那么使用
soup.find()
可以节省一些时间

使用
type(iframexx)
显示它指向一个包含我们所需实际数据的列表。然后

for iframe in iframexx:
    print(type(iframexx))
    ifr = iframexx[0]
    print(ifr)
    print(ifr["data-src"])

允许我获取数据src。

Hi@Nietvoordekat,感谢您的快速依赖和上面的代码。但是出于某种原因,它似乎对我不起作用?谢谢-奶酪当然可以。另外:我认为来自urllib导入请求的
部分仅在使用python3时有效。您使用的是什么版本的Python?您得到了什么错误?目前没有明确的错误,只是在运行时没有显示任何内容。以前我使用的是2.7,但现在我使用的是3.6。很抱歉,我应该更清楚一些。代码是向正确的方向推进的-除了
print
语句(被注释掉)之外,它不会“显示”任何内容。相反,我假设您希望对这些值执行其他操作,比如将它们插入数据库。它也不完整,因为我没有写第二部分(视频源和它们的分辨率)。试着玩一下代码,看看你能找到什么,能打印什么。如果你不能让它工作,给我回电话,我会尽力帮你;)很乐意帮忙;)
for iframe in iframexx:
    print(type(iframexx))
    ifr = iframexx[0]
    print(ifr)
    print(ifr["data-src"])