Python 如何获取公司联系人页面url

您好，我有csv文件，其中包含公司url列表，如www.google.com、www.ibm.com

在这里，我想获得contactus或aboutus页面url（示例），对于csv文件中存在的每个url，我有一个想法，即使用以下模式检查链接（联系我们、关于我们、关于位置）

---

如果找不到任何url，请标记url并将其写入日志文件。如果您找到了模式，只需打印地址（它用于其他流程）

我建议使用它来解析页面。另一种选择是在Mechanical Turk上设置一个HIT。scrapy是最好的。scrapy最好的地方是它是一个开源软件