Python BeautifulSoup未显示所有元关键字。。只有部分关键字存在

Python BeautifulSoup未显示所有元关键字。。只有部分关键字存在,python,beautifulsoup,Python,Beautifulsoup,我试图从youtube页面中提取所有元关键字。但BuatifulSoup只能提取前几个关键字,而不是全部关键字。为此,我编写了以下Python脚本: import requests from bs4 import BeautifulSoup url = "https://www.youtube.com/watch?v=2lAe1cqCOXo" response = requests.get(url) soup = BeautifulSoup(response.text, 'lxml') k

我试图从youtube页面中提取所有元关键字。但BuatifulSoup只能提取前几个关键字,而不是全部关键字。为此,我编写了以下Python脚本:

import requests
from bs4 import BeautifulSoup

url = "https://www.youtube.com/watch?v=2lAe1cqCOXo"

response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')

keywords = soup.find("meta", {"name": "keywords"})['content']
print(keywords)
我得到以下输出:

Rewind, Rewind 2019, youtube rewind 2019, #YouTubeRewind, MrBeast, PewDiePie, James Charles, Shane Dawson, CaseyNeistat, RiceGum, Simone Giertz, JennaMarbles...
无法提取所有关键字。就像我访问youtube页面源代码一样,我看到了以下内容:


有什么方法可以捕获整个关键字列表吗?还是这就是美团的限制?如果这是限制。。。。。如果有其他解决方案来捕获标签?

那么我所做的就是将response.text打开到pprint中,以便获得更清晰的可视化效果。从那里我搜索了“礼来”,找到了两个可以提取关键词的地方。显然,我选择了挂得更低的水果。但你肯定可以走你所要求的路线,只是需要更多的工作才能得到同样的结果。伊姆霍

无论如何,下面是应该解决您的问题的代码片段。您几乎已经拥有了它,您只需要使用“attrs”并从响应的不同部分提取。我希望你没有太灰心。祝你好运

from bs4 import BeautifulSoup
import requests
import pprint as pp

url = "https://www.youtube.com/watch?v=2lAe1cqCOXo"

response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')

for meta in soup.find_all(attrs={"property":"og:video:tag"}):
    print(meta["content"])
答复:

Rewind
Rewind 2019
youtube rewind 2019
#YouTubeRewind
MrBeast
PewDiePie
James Charles
Shane Dawson
CaseyNeistat
RiceGum
Simone Giertz
JennaMarbles
Lilly Singh
emma chamberlain
The Try Guys
Fortnite
Minecraft
Roblox
Marshmello
Garena Free Fire
GTA V
Lachlan
Anaysa
jeffreestar
Noah Schnapp
Jennelle Eliana
T-Series
Azzyland
LazarBeam
Dude Perfect
David Dobrik
KSI
NikkieTutorials
Kurzgesagt
Jelly
Ariana Grande
Billie Eilish
BLACKPINK
Year in Review

您正在搜索的其他关键字不在
meta
标记中,而是在
script
标记中。实际上,你已经拥有了meta中的所有关键字。从你的帖子中,我学到了一些东西,在开始解析之前检查响应数据总是一个好主意。这真是一种很棒的调试技术,我错过了。现在,我学会了这个战术。不,谢谢。这给了我一个从YouTube上提取更多数据的想法。所以我计划把它作为书签,以便以后使用。但我很高兴我能帮上忙。