Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/excel/24.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Web scraping 如何从网站列表中删除位置_Web Scraping - Fatal编程技术网

Web scraping 如何从网站列表中删除位置

Web scraping 如何从网站列表中删除位置,web-scraping,Web Scraping,我有一个csv文件中的URL列表,我想刮每个网站的位置。我真的是一个新的刮,所以我不知道什么工具或语言更好。有什么方法可以做到吗?如有任何帮助,我们将不胜感激。可以通过多种方式进行网页抓取。网上有很多工具,这也取决于你选择适合你的语言。我使用了Python,可以建议您尝试Beautiful Soup、Requests和其他API。您还需要了解要刮取的网页的DOM结构。 您可能想查看Beautiful Soup的文档: 请注意,在网页中,您需要了解DOM结构才能搜索其位置并相应提取位置数据。如果您

我有一个csv文件中的URL列表,我想刮每个网站的位置。我真的是一个新的刮,所以我不知道什么工具或语言更好。有什么方法可以做到吗?如有任何帮助,我们将不胜感激。

可以通过多种方式进行网页抓取。网上有很多工具,这也取决于你选择适合你的语言。我使用了
Python
,可以建议您尝试
Beautiful Soup
Requests
和其他
API
。您还需要了解要刮取的
网页的
DOM
结构。 您可能想查看
Beautiful Soup
的文档:


请注意,在网页中,您需要了解DOM结构才能搜索其位置并相应提取位置数据。

如果您投票否决我的问题,您能告诉我原因吗?我真的不知道怎么做。谢谢!我对Beautiful Soup做了一些研究,但是Beautiful Soup似乎可以处理类似格式的网站,所以我可以使用find_all或标签来检索信息。然而,我得到的URL来自多个来源,它们有不同的样式。美丽的汤能做到吗?@SiruiLi你们需要在不同的网页上看到位置数据的模式。我做的是美味的汤,可以说你的问题很真实。是的,您需要根据不同的格式编码,但如果是批量编码,则必须有一些与位置数据相关的API,如果没有,则需要为不同的网页编写不同的代码。非常感谢!我将从你的暗示开始@SiruiLi没问题,如果这解决了您的问题/给出了如何进一步工作的想法,请勾选此答案。非常感谢。