Python 抓取youtube页面会返回空列表

Python 抓取youtube页面会返回空列表,python,youtube,beautifulsoup,screen-scraping,Python,Youtube,Beautifulsoup,Screen Scraping,我一直在试图从youtube页面上抓取链接。但是,links变量显示为空。我做错什么了 我认为问题在于你寻找链接的方式。当我curl与您curl的url相同时https://www.youtube.com/results\?搜索\查询\=你好 我没有得到任何带有css元素的a标签。这似乎基于标头中设置的用户代理属性 因此,有几个选择: 更改查看视频链接的方式 这就是我的卷发的视频链接标记 <a href="/watch?v=YQHsXMglC9A" class="yt-uix-tile-l

我一直在试图从youtube页面上抓取链接。但是,links变量显示为空。我做错什么了

我认为问题在于你寻找链接的方式。当我
curl
与您
curl的url相同时https://www.youtube.com/results\?搜索\查询\=你好

我没有得到任何带有css元素的
a
标签。这似乎基于标头中设置的
用户代理
属性

因此,有几个选择:

  • 更改查看视频链接的方式

    这就是我的卷发的视频链接标记

    <a href="/watch?v=YQHsXMglC9A" class="yt-uix-tile-link yt-ui-ellipsis yt-ui-ellipsis-2 yt-uix-sessionlink spf-link " data-sessionlink="itct=CFcQ3DAYASITCLfbt4P439gCFQzYfgodkDYKVij0JFIFaGVsbG8" title="Adele - Hello" aria-describedby="description-id-484065" rel="spf-prefetch" dir="ltr">Adele - Hello</a>
    
    (你必须搞乱正则表达式,它并不完美

  • 使用

    我想说,这将是猜测您正在尝试做什么的首选方法


  • 谢谢。我通过“检查”将课程包括在代码中该页面可能在我原始图片的下半部分可见。这样做有什么问题吗?你能告诉我你是如何获得这些视频链接标记的吗?@beebeckzzz我刚刚对你在截图
    curl中的url进行了卷曲https://www.youtube.com/results\?搜索\查询\=你好
    page.find_all("a", {'href': re.compile('/watch?v=[A-Za-z0-9_\-]`)})