Python 试图创建一个web刮板,但下面的代码一直在打印所有html

Python 试图创建一个web刮板,但下面的代码一直在打印所有html,python,beautifulsoup,Python,Beautifulsoup,因此,我试图从media.com获取我的统计数据,并且已经构建了一个机器人来登录,当我进入统计页面并试图打印标题时,它会不断向我抛出所有的html。print功能用于确保在我继续之前打印正确的内容: url = driver.page_source headers = {"Accept-Language": "en-US, en;q=0.5"} results = requests.get(url, headers=headers) soup = Bea

因此,我试图从media.com获取我的统计数据,并且已经构建了一个机器人来登录,当我进入统计页面并试图打印标题时,它会不断向我抛出所有的html。
print
功能用于确保在我继续之前打印正确的内容:

url = driver.page_source
headers = {"Accept-Language": "en-US, en;q=0.5"}
results = requests.get(url, headers=headers)

soup = BeautifulSoup(url, "lxml")

story_title = []
publication = []
views = []
reads = []
read_ratio = []
fans = []

stats_div = soup.find_all('tr', class_='sortableTable-row js-statsTableRow')
for container in stats_div:
    name = container.td.a.text.find('span', class_='sortableTable-title u-maxWidth450')
    story_title.append(name)

print(story_title)

没关系,明白了!Selenium不喜欢
url=driver.page\u source
,因此我只是使用了该链接。

欢迎访问so-请改进您的问题,以便我们能够重现您的问题。谢谢(得到一个url也很酷)的建议:我对编码、python和网页抓取都太陌生了。本周我一直在使用selenium进行网络垃圾处理,这是我的代码:我可以尝试使用你的代码,但不清楚你打算做什么。我无法提供一个像样的链接,因为这是在登录页面后面,另一个代码有我的个人信息