Scrapy可以处理.cfm文件吗？

到目前为止，我对搔痒蜘蛛的经验是专注于搔痒。换句话说，我首先在目标网站上进行手动关键字搜索，返回包含关键字的http地址，例如

http://www.simplyhired.com/search?q=Anesthesiologist

。这个网络链接将让我的蜘蛛“看到”我在浏览器中得到的东西

现在我注意到这个方法在一些网站上不起作用，比如这个：

http://www.physicianjobboard.com/

。关键字搜索在浏览器上工作，但只生成

http://www.mdjobsite.com/Index2.cfm?Page=JobsSearchResults

。此通用web链接包含

.cfm

文件，不会直接让我的爬行器知道我感兴趣的关键字

---

一个低效的方法是从这个网站上抓取所有的帖子，然后过滤掉我需要的。有没有其他方法可以让我的爬行器看到我在浏览器中得到的内容并执行集中的抓取？我的猜测是让spider发送一个模仿关键字搜索的请求，然后分析响应页面。我在这方面没有经验。如果我的猜测是正确的，谁能给我一些提示

无法理解这一点，您是否有一些代码示例或日志来了解您真正的问题？如果您在cfm文件中讨论xpath，它应该可以工作，我刚刚检查了您传递的xpathhttp://www.physicianjobboard.com/作为示例，我可以在浏览器中进行关键字搜索（例如

麻醉师

），浏览器将显示与麻醉学相关的工作列表。同时，上述搜索结果的http地址将为

http://www.mdjobsite.com/Index2.cfm?Page=JobsSearchResults

。如果我将此http地址复制并粘贴到新的浏览器窗口中，我将看不到相同的搜索结果，因为http地址不包含使用的关键字（

麻醉师

）。所以问题是：如何让蜘蛛从关键字搜索中“看到”工作列表？这与scrapy无关，而是与网站有关。确切地说。我的问题是：scrapy能处理这种类型的网站吗？我想是的，但不知道怎么做。