Python 如何像使用Chrome一样使用靓汤来刮网页？

当我查看同一网页的源代码时，我在谷歌浏览器（Inspect）中获得了某些元素，但在internet explorer中没有

我猜靓汤里面用的是IE浏览器吧？其结果与IE更为吻合

但是，当我使用chrome的Inspect功能时，我看到源代码中没有列出某些元素

---

有没有一种方法可以在Python中或使用Beauty Soup来模拟这一点？

您可以将您的用户代理更改为以下之一：

一个片段：更改用户代理会强制页面打开不同的内容（移动版与Chrome版）

---

注意：一些网站正在保护自己，以进行

用户代理欺骗

。因此，并非所有网站都会对这些频繁的跳转做出反应

你试过添加ie或chrome之类的用户代理吗？不，我现在就试试。thx看来请求是我必须下载的另一个库？我得到“ImportError:没有名为requests的模块”是的，基本上这是一个非常方便的模块。因此，如果你想做刮削，强烈建议你安装它

pip安装请求

如果您在linux发行版上。@JoanVenge毫无疑问，

requests

是python中最好的http库。让我们尽快使用它。这个库能模拟Chrome的Inspect功能吗？要做更详细的事情，你应该研究一下：

from bs4 import BeautifulSoup
import requests
#headers = {'User-Agent': 'Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3'}
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 5.1.1; SM-G928X Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.83 Mobile Safari/537.36'}
result = requests.get("http://derstandard.at", headers=headers)
c = result.content
print result.request.headers


print len(c)