如何使Python从web转储文本行？

我如何才能创建程序，将采取从网站上的行。用户需要指定他将从网站上获取多少行，他有一个like限制（1000），并且他还有一个冷却时间，就像你每24小时可以从网络上捕获数据一样

---

提前谢谢

我认为您正在寻找一个网络爬虫/蜘蛛/刮板

---

尝试使用所描述的Scrapy。

看看像Scrapy这样的web scraping库，从网站获取数据，并解析像beautifulsoup这样的库来理解它。要每24小时触发一次，您可以使用像Heroku这样的主机，并根据需要使用一些自定义逻辑。

欢迎使用StackOverflow！请阅读有关如何创建一个。到目前为止，你做了哪些研究和尝试？