Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/277.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 在web上搜索时找不到表内容(隐藏表)_Python_Scrapy - Fatal编程技术网

Python 在web上搜索时找不到表内容(隐藏表)

Python 在web上搜索时找不到表内容(隐藏表),python,scrapy,Python,Scrapy,我正在尝试刮取以下url(),表内容是我感兴趣的内容,但是看起来表隐藏在某个地方: 右键单击表上的检查,我可以得到==$0(后面是) 但是在ScrapyShell中,如果我执行response.xpath('/*[@table]'),它将不返回任何内容,这意味着我无法通过这种方式刮取内容。。。。 请在这个问题上提供帮助,谢谢 更新:最终的解决方案是使用Selenium(很棒的工具)完成这项艰巨的任务,当网页内容(如表等)是java加密的,社区中有大量Selenium指令时,Selenium特别有

我正在尝试刮取以下url(),表内容是我感兴趣的内容,但是看起来表隐藏在某个地方:

右键单击表上的检查,我可以得到==$0(后面是) 但是在ScrapyShell中,如果我执行response.xpath('/*[@table]'),它将不返回任何内容,这意味着我无法通过这种方式刮取内容。。。。 请在这个问题上提供帮助,谢谢


更新:最终的解决方案是使用Selenium(很棒的工具)完成这项艰巨的任务,当网页内容(如表等)是java加密的,社区中有大量Selenium指令时,Selenium特别有用,这里有一个。

表为空的原因是您试图删除包含表数据的错误url,正确的是:


上面url上的“05172018”文本看起来像是具有以下格式的日期筛选器:
MMDDYYYY

非常感谢,您是通过其嵌套服务器找到此url的吗?我真的很好奇。我完成了我的工作,但最终可以通过Selenium方法获取我最初提供的url(我猜原始的url表使用Java加密)。非常感谢,伙计,这肯定能帮我节省时间。我也很好奇你是否也在使用硒?在我看到你发布的链接之前,我可以通过webdriver进行抓取,但是我遇到了一些Python脚本问题,我在这里发布了:你介意看一下吗?也许我错误地使用了请求clauseI会看一看,但是从我看到你可以使用scrapy,在这种情况下你不需要使用selenium(我使用selenium来抓取ASP.NET站点)。嗨Laerte,我实际上刚刚解决了selenium部分,我在刚刚发给你的帖子中问的问题有点琐碎,所以我还是删除了那个问题帖子。再次感谢您的帮助,我最终将用真正的表URL重写我的代码。