如何使用selenium python使远程webdriver的执行时间超过15分钟?

如何使用selenium python使远程webdriver的执行时间超过15分钟?,python,selenium,selenium-webdriver,remotewebdriver,Python,Selenium,Selenium Webdriver,Remotewebdriver,目前,我的代码和脚本运行正常,同时能够获取所有需要删除的数据。我的目标是让我的脚本运行数小时,并通过使用webdriver每分钟刷新一次来刮取单个页面。但是,此过程仅在前15分钟有效 我通过运行以下命令在was EC2远程实例上运行此命令: java -jar selenium-server-standalone-3.141.59.jar -port 4444 -sessionTimeout 57868143 & python3 /home/ec2-user/scraper/footba

目前,我的代码和脚本运行正常,同时能够获取所有需要删除的数据。我的目标是让我的脚本运行数小时,并通过使用webdriver每分钟刷新一次来刮取单个页面。但是,此过程仅在前15分钟有效

我通过运行以下命令在was EC2远程实例上运行此命令:

java -jar selenium-server-standalone-3.141.59.jar -port 4444 -sessionTimeout 57868143 &
python3 /home/ec2-user/scraper/football_live.py;
启动selenium服务器(运行时间超过15分钟),然后启动脚本

在我的脚本中,我有:

data, n_games = football_data(driver)
insert_data(cur, conn, data)
time.sleep(60)
driver.refresh()
在while循环中运行很长一段时间

这是我的webdriver代码:

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
time.sleep(5)
driver = webdriver.Remote("http://localhost:4444/wd/hub", options=chrome_options, desired_capabilities=DesiredCapabilities.CHROME)
这是我发现的唯一一件接近我正在尝试做的事情,但它并没有那么有帮助


如果没有办法通过selenium延长webdriver的持续时间,我也在考虑在脚本中运行15分钟循环作为最后手段。

您能否澄清为什么它会在15分钟后停止?我看不到15分钟后它应该停在哪里。我要做的是使用crontab来安排python代码每分钟运行一次。这样,它不需要是一个长期的过程。我可以提供一个答案,但在浪费一个可能是错误的答案之前,我需要更多的澄清。我不知道为什么它会停止,但它与15分钟的时间非常一致。不确定这是否与硒有关,我让硒脚本在夜间运行了5个小时,没有任何问题。尝试使用另一个selenium版本,可能是您现在使用的版本有问题。另外,也许EC2不允许您运行超过15分钟。EC2没有任何限制,这就是为什么我选择它而不是AWS lambda函数的原因。它可能与远程webdriver和常规webdriver有关吗?