Web crawler 实时获取论坛最新帖子

Web crawler 实时获取论坛最新帖子,web-crawler,web-scraping,Web Crawler,Web Scraping,有一个非常著名的论坛,我想实时获得最新的帖子,并将其发布在我的博客上。该论坛没有API 我正在考虑每5秒钟向论坛发送一次请求,检查是否有新帖子并复制 但是每天我都要发送7200个请求,这很糟糕,不是吗 请问有什么方法/建议吗?简单方法RSS怎么样?thanx。我在谷歌上搜索RSSthanx Robin。当我尝试feed43时,它返回了论坛51个帖子的列表。然而,我只想要最新的(51)。你知道我怎样才能得到最新的消息吗?所有帖子格式之间没有模式差异,所以我无法获取最新的。谢谢,最后,我决定使用解析

有一个非常著名的论坛,我想实时获得最新的帖子,并将其发布在我的博客上。该论坛没有API

我正在考虑每5秒钟向论坛发送一次请求,检查是否有新帖子并复制

但是每天我都要发送7200个请求,这很糟糕,不是吗


请问有什么方法/建议吗?

简单方法RSS怎么样?

thanx。我在谷歌上搜索RSSthanx Robin。当我尝试feed43时,它返回了论坛51个帖子的列表。然而,我只想要最新的(51)。你知道我怎样才能得到最新的消息吗?所有帖子格式之间没有模式差异,所以我无法获取最新的。谢谢,最后,我决定使用解析器自己获取论坛内容。每1分钟我就发送一个请求来获取数据。