Python 如何将URL库的IP地址转换为http

我希望开始我自己的个人项目，创建一个应用程序，我可以从我的浏览器所在的网站上保存文档/文本/图像。我做了大量的研究，得出结论认为目前两种方法中的任何一种都是可行的：使用cookie或包嗅探器来识别IP地址（包嗅探器方法目前更为相关）

我希望自动化应用程序，这样我就不必在浏览器上复制和粘贴url，并使用urllib将其粘贴到脚本中

对于我需要的流程、模块或库，有经验的网络程序员可以提供什么建议吗

非常感谢

---

jonathan

如果您想在主动浏览时下载所有图像、文档和文本（考虑到绝对的带宽，这可能是个坏主意），那么您需要的不仅仅是urllib2。我假设您不想一直将所有URL复制并粘贴到脚本中以下载所有内容，如果不是这样的话，一个简单的urllib2和beautifulsoup过滤器会让您感到惊奇

然而，如果我的假设是正确的，那么你可能会想要调查硒。从那里你可以启动一个selenium窗口（默认为Firefox），然后正常浏览。最好的选择是持续轮询当前url，如果它不同，则确定要下载的所有元素，然后使用urllib2下载它们。因为我不知道你想下载什么，所以在这方面我真的帮不了你。然而，在selenium中类似的情况如下：

from selenium import webdriver
from time import sleep

# Startup the web-browser
browser = webdriver.Firefox()
current_url = browser.current_url

while True:
    try:
        # If we have a url, identify and download your items
        if browser.current_url != current_url:
            # Download the stuff here
            current_url = browser.current_url
    # Triggered once you close the web-browser
    except:
        break
    # Sleep for half a second to avoid demolishing your machine from constant polling
    sleep(0.5)

---

我再次建议不要这样做，因为不断下载图像、文本和文档会占用大量空间。

您可以使用

urllib

，

BeautifulSoup

，

请求

等。python库可以根据您的需要制作一个下载图像等的应用程序。您好，感谢对selenium的介绍！这是一个如此有趣的包裹，我现在非常兴奋。只需包括一个完整的示例应用程序/项目，我可以从任何浏览器（如instapaper）选择要保存的页面