Python Mitmproxy出现奇怪的Web驱动程序问题

下面是我的代码的浓缩版本，显示了webdriver和mitmproxy的一个问题：

from libmproxy import controller
from libmproxy import proxy
import os
from multiprocessing import Process
from selenium import webdriver
from selenium.webdriver.common.proxy import *
import time


# traffic inception
class HttpMitmReporter(controller.Master):
    def __init__(self, proxy_server):
        controller.Master.__init__(self, proxy_server)

    def run(self):
        try:
            return controller.Master.run(self)
        except KeyboardInterrupt:
            self.shutdown()


# setup browser with proxy settings etc.
def setup_browser():
    global driver
    proper_setup = False

    proxy_con = "127.0.0.1:8088"
    my_proxy = Proxy({'proxyType': ProxyType.MANUAL,
                      'httpProxy': proxy_con,
                      'ftpProxy': proxy_con,
                      'sslProxy': proxy_con,
                      'noProxy': ''})

    while not proper_setup:
        try:
            driver = webdriver.Firefox(proxy=my_proxy)
            driver.set_page_load_timeout(20)
            driver.set_script_timeout(20)
            proper_setup = True
        except Exception as exception:
            print exception
            try:
                driver.quit()
            except Exception:
                time.sleep(3)


driver = None

# start proxy
config = proxy.ProxyConfig(
    cacert=os.path.expanduser("~/.mitmproxy/mitmproxy-ca.pem")
)
server = proxy.ProxyServer(config, 8088)
reporter = HttpMitmReporter(server)
mitm_proxy = Process(target=reporter.run)
mitm_proxy.start()

setup_browser()

# urls to test
urls = [
        'http://support.microsoft.com/common/survey.aspx?showpage=1&scid=sw%3Bde%3B3663&altStyle=narrow&renderOption=OverrideDefault&fr=1',
        'http://outlook.com/',
        ]

# visit sites
for url in urls:
    print url
    try:
        driver.get(url)
        elements = driver.find_elements_by_tag_name('a')
    except Exception as ex:
        print ex
        driver.quit()
        setup_browser()

# terminate browser and proxy
driver.quit()
mitm_proxy.terminate()

如果执行此操作，您将看到firefox正在加载forever outlook.com，并且不会触发超时。
该问题仅在mitmproxy中出现。我已经测试了另一个代理，它们处理这些URL，但我不能使用它们，因为它们要么不能检查SSL流量，要么只是提供原始数据输出。然而，我发现mitmproxy应该是最好的解决方案，如果它能与webdriver一起正常工作的话。
此外，我已经用mitmproxy在shell->同一问题上开始测试了这一点
与webdriver一起使用Java->同一问题
此外，这种情况有时会发生在其他URL上，如fc2.com

下面是对我的配置的一点概述：
-Linux Mint Petra x64
-python 2.7
-Mitmproxy 0.10.1
-硒2.41.0
-火狐28

有人知道如何解决这个问题吗？
为什么mitmproxy会发生这种情况？
此外，我对使用selenium检查http和https流量的替代方案感兴趣

使用FlowMaster更新：

from libmproxy import flow
from libmproxy import proxy
import os
from multiprocessing import Process
from selenium import webdriver
from selenium.webdriver.common.proxy import *
import time


# traffic inception
class HttpMitmReporter(flow.FlowMaster):

    def run(self):
        try:
            flow.FlowMaster.run(self)
        except KeyboardInterrupt:
            self.shutdown()

    def handle_request(self, r):
        f = flow.FlowMaster.handle_request(self, r)
        if f:
            r.reply()
        return f

    def handle_response(self, r):
        f = flow.FlowMaster.handle_response(self, r)
        if f:
            r.reply()
        return f


# setup browser with proxy settings etc.
def setup_browser():
    global driver
    proper_setup = False

    proxy_con = "127.0.0.1:8088"
    my_proxy = Proxy({'proxyType': ProxyType.MANUAL,
                      'httpProxy': proxy_con,
                      'ftpProxy': proxy_con,
                      'sslProxy': proxy_con,
                      'noProxy': ''})

    while not proper_setup:
        try:
            driver = webdriver.Firefox(proxy=my_proxy)
            driver.set_page_load_timeout(20)
            driver.set_script_timeout(20)
            proper_setup = True
        except Exception as exception:
            print exception
            try:
                driver.quit()
            except Exception:
                time.sleep(3)


driver = None

# start proxy
config = proxy.ProxyConfig(
    cacert=os.path.expanduser("~/.mitmproxy/mitmproxy-ca.pem")
)
state = flow.State()
server = proxy.ProxyServer(config, 8088)
reporter = HttpMitmReporter(server, state)
mitm_proxy = Process(target=reporter.run)
mitm_proxy.start()

setup_browser()

# urls to test
urls = [
        'http://support.microsoft.com/common/survey.aspx?showpage=1&scid=sw%3Bde%3B3663&altStyle=narrow&renderOption=OverrideDefault&fr=1',
        'http://outlook.com/',
        ]

# visit sites
for url in urls:
    print url
    try:
        driver.get(url)
        elements = driver.find_elements_by_tag_name('a')
    except Exception as ex:
        print ex
        driver.quit()
        setup_browser()

# terminate browser and proxy
driver.quit()
mitm_proxy.terminate()

---

看起来您错误地实例化了mitmproxy。看一看，您肯定需要FlowMaster实例，而不是controller.Master。

我按照您的建议使用FlowMaster更改了代码（请参阅更新），但同样的问题正在发生。顺便说一句，Firefox已更改为29版。如果我使用外部浏览器，https不起作用（安装了CA），同样的问题也会发生。但是，如果我使用控制器istead，则https流正在工作，并且外部FF中没有问题。然而，即使没有任何代理，selenium atm也有太多问题。因此，我已经编写了自己的casperjs包装器，它工作得更好。