Python 在linux服务器内运行Selenium browser以获取白名单URL

我们已经为Red Hat Linux服务器提供了运行python api进行web抓取的资源。此服务器不向世界以外的所有链接开放。URL需要白名单才能访问该站点

我们已经将itunes、Vudu.com和Target.com列入了白名单

在运行Selenium时，我们能够成功地从iTunes获取数据。但Target和Vudu面临以下问题

from selenium import webdriver
display = Display(visible=0, size=(1366,768))
display.start()
driver = webdriver.Firefox()

对于iTunes

driver.get("https://itunes.apple.com/us/movie/the-angry-birds-movie/id1100915157")
result = driver.find_element_by_class_name("price")

我们可以成功地看到结果如下：，

对于目标

driver.get("http://www.target.com/p/the-angry-birds-movie-blu-ray-dvd/-/A-51194551")  
result = driver.find_element_by_class_name("price")                                     

我们得到以下错误。

说明： 在目标情况下，网页正在加载，HTML已返回。但问题是，有一些Api调用将在浏览器中运行，以获取价格和其他详细信息。他们被堵住了，没有跑。因此，返回的HTML内容只是部分内容。因此无法找到与价格对应的标签。所以我们没有什么例外

对武杜来说

driver.get("http://www.vudu.com/movies/#!content/777662/The-Legend-of-Tarzan")         #This line itself fail. 

获取以下错误，

说明： 在Vudu的情况下，没有响应。甚至不是我们在目标中得到的部分HTML。它只是无限期地等待，不会抛出任何错误。当我们手动停止执行时，我们可以看到以下错误。在突出显示的行上，它只是等待响应

不知道如何解决这个问题。我们已经将target.com、vudu.com、api.target.com列入了白名单。但还是同样的错误

---

有人能帮忙吗

很抱歉延迟响应…正在忙于另一个项目…是否有任何修复程序可以解决此长期未决的问题…我在几周前看到一些响应…但它已被删除…请任何人对此提供帮助。