Web scraping 如何从网站列表中删除位置
我有一个csv文件中的URL列表,我想刮每个网站的位置。我真的是一个新的刮,所以我不知道什么工具或语言更好。有什么方法可以做到吗?如有任何帮助,我们将不胜感激。可以通过多种方式进行网页抓取。网上有很多工具,这也取决于你选择适合你的语言。我使用了Web scraping 如何从网站列表中删除位置,web-scraping,Web Scraping,我有一个csv文件中的URL列表,我想刮每个网站的位置。我真的是一个新的刮,所以我不知道什么工具或语言更好。有什么方法可以做到吗?如有任何帮助,我们将不胜感激。可以通过多种方式进行网页抓取。网上有很多工具,这也取决于你选择适合你的语言。我使用了Python,可以建议您尝试Beautiful Soup、Requests和其他API。您还需要了解要刮取的网页的DOM结构。 您可能想查看Beautiful Soup的文档: 请注意,在网页中,您需要了解DOM结构才能搜索其位置并相应提取位置数据。如果您
Python
,可以建议您尝试Beautiful Soup
、Requests
和其他API
。您还需要了解要刮取的网页的DOM
结构。
您可能想查看Beautiful Soup
的文档:
请注意,在网页中,您需要了解DOM结构才能搜索其位置并相应提取位置数据。如果您投票否决我的问题,您能告诉我原因吗?我真的不知道怎么做。谢谢!我对Beautiful Soup做了一些研究,但是Beautiful Soup似乎可以处理类似格式的网站,所以我可以使用find_all或标签来检索信息。然而,我得到的URL来自多个来源,它们有不同的样式。美丽的汤能做到吗?@SiruiLi你们需要在不同的网页上看到位置数据的模式。我做的是美味的汤,可以说你的问题很真实。是的,您需要根据不同的格式编码,但如果是批量编码,则必须有一些与位置数据相关的API,如果没有,则需要为不同的网页编写不同的代码。非常感谢!我将从你的暗示开始@SiruiLi没问题,如果这解决了您的问题/给出了如何进一步工作的想法,请勾选此答案。非常感谢。