如何通过scrapy抓取更新的网页？
我用scrapy从网站上获取数据。但是有一个问题，我不知道在服务器中更新网站后如何获取增量数据，或者如何知道网站已更新？ 网页中的表格是我想要抓取的，如下所示： 正如您所看到的，有一个名为“adddate”的列。所以当数据更新后，我只想得到最近添加的数据。还有一个问题是，网站的url在更新后不会有任何变化。还是如何通过scrapy抓取更新的网页？,scrapy,web-crawler,Scrapy,Web Crawler,我用scrapy从网站上获取数据。但是有一个问题，我不知道在服务器中更新网站后如何获取增量数据，或者如何知道网站已更新？ 网页中的表格是我想要抓取的，如下所示： 正如您所看到的，有一个名为“adddate”的列。所以当数据更新后，我只想得到最近添加的数据。还有一个问题是，网站的url在更新后不会有任何变化。还是https://gold.jgi.doe.gov/projects 我读过这个问答。我懂一点这个理论。但我仍然不知道在使用scrapy时如何实现这一点，有人能给出一个例子或一些详细信息吗
https://gold.jgi.doe.gov/projects我读过这个问答。我懂一点这个理论。但我仍然不知道在使用scrapy时如何实现这一点，有人能给出一个例子或一些详细信息吗 到目前为止你到底试了什么？你能分享一些代码吗？对不起，我不知道如何处理这个问题，所以我想举个例子。按照我知道如何编写蜘蛛来从网站获取数据，但我不知道如何在更新后获取最近添加的数据。@Coding\u Rabbit我想你正在寻找这个