Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/selenium/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 使用Selenium进行Web Sraping:属性页\太大时会出现错误?_Python_Selenium_Web Scraping_Beautifulsoup - Fatal编程技术网

Python 使用Selenium进行Web Sraping:属性页\太大时会出现错误?

Python 使用Selenium进行Web Sraping:属性页\太大时会出现错误?,python,selenium,web-scraping,beautifulsoup,Python,Selenium,Web Scraping,Beautifulsoup,我实际上在用Python做一个网络垃圾项目。我们的目标是删除所有对Android应用程序的评论。我用的是硒和美容素 事实上,我可以得到大约2300条评论。总体而言,我所做的是用Selenium打开应用程序的网页,然后自动向下滚动页面并单击“显示更多”按钮,以便生成更多评论 然后我将“browser.page\u source”对象传递给BeautifulSoup方法,以便对其进行解析并获得相关数据。问题是,从某一点开始(点击15次对应2320条评论的show more后),程序总是停止。我没有收

我实际上在用Python做一个网络垃圾项目。我们的目标是删除所有对Android应用程序的评论。我用的是硒和美容素

事实上,我可以得到大约2300条评论。总体而言,我所做的是用Selenium打开应用程序的网页,然后自动向下滚动页面并单击“显示更多”按钮,以便生成更多评论

然后我将“browser.page\u source”对象传递给BeautifulSoup方法,以便对其进行解析并获得相关数据。问题是,从某一点开始(点击15次对应2320条评论的show more后),程序总是停止。我没有收到任何消息错误,但无论我在哪里调用“browser.page\u source”对象,程序都会停止


页面是否太大,Selenium无法处理?

欢迎使用StackOverflow。在没有实际看到的情况下,很难对页面大小进行评论。请考虑添加更多的细节。@胺,您可以添加代码来处理异常(如果还没有)……知道确切的原因……可能是由于高加载时间或其他原因而停止的。