Python 使用Scrapy在Youtube用户页面上刮取标题和持续时间信息

正如标题所示，我想构建一个应用程序来存储用户视频标题信息和持续时间，并使用Scrapy来存储

使用BeautifulSoup解析HTML源代码相对容易，但在处理上传了大量视频的Youtube用户页面时，我认为不可能使用BeautifulSoup

任何帮助都将不胜感激。

您可以使用

---

@stovfl我还没有开始任何编码。我不了解Youtube在点击“加载更多”按钮后如何在用户页面上动态加载更多视频。是否有一种特殊的方法可以一次加载整个HTML，以便我可以看到所有视频对象的源？请阅读以下相关内容：

youtube-dl --get-title --get-duration (youtube link)