Web scraping I';我试图用scrapy刮一个网站,但是网站结构不一致

Web scraping I';我试图用scrapy刮一个网站,但是网站结构不一致,web-scraping,scrapy,Web Scraping,Scrapy,我必须刮多个类似的网页,但在一些网页上的主要内容是在一个跨度标签,而在其他网页上的一个p标签内。在某些页面上,两个标签都使用。有什么方法可以为所有页面编写通用脚本吗?这不是一个我们可以用提供的信息真正回答的问题。尽管如此,如果页面内容有点不一致(但有点一致),您始终可以抓住所有可能的情况,然后解析数据。这需要一些良好的异常管理 我知道你对该网站还不熟悉,所以请尝试提供更多信息,包括示例、你尝试过的内容以及下次的预期行为:)。这可以作为一个评论,但不是一个答案(正如你已经指出的,没有办法回答如此广

我必须刮多个类似的网页,但在一些网页上的主要内容是在一个跨度标签,而在其他网页上的一个p标签内。在某些页面上,两个标签都使用。有什么方法可以为所有页面编写通用脚本吗?

这不是一个我们可以用提供的信息真正回答的问题。尽管如此,如果页面内容有点不一致(但有点一致),您始终可以抓住所有可能的情况,然后解析数据。这需要一些良好的异常管理


我知道你对该网站还不熟悉,所以请尝试提供更多信息,包括示例、你尝试过的内容以及下次的预期行为:)。

这可以作为一个评论,但不是一个答案(正如你已经指出的,没有办法回答如此广泛、一般的问题)。