python在整个网站中查找关键字。谷歌API或beautifulsoup&类似的？

我有一组大约500个网站，我想在Python的帮助下，从5到10个短语中搜索一些关键短语

我有两个解决方案：

使用Beautifulsoup，为每个URL创建一个脚本，用于完成两件事：查找文本中的每个短语，查找内部URL，对每个URL重复该过程，等等。考虑到我与大型网站打交道的事实，我不确定这个解决方案是否可行

改用谷歌API。我反对这个想法，因为我从未使用过这个API，我也从未在其他与图片相关的帖子中看到过这个解决方案

哪种解决方案更好

---

我刚刚发布了关于相同数量的网站的帖子，但重点关注图片抓取。

B.只要您对数据抓取过程的需求不是实时的，soup就可以工作。