Web scraping 什么是/歌词数据库;请参阅www.azlyps.com';s/robots.txt?
我正在从中抓取歌词数据,其robots.txt的内容如下:Web scraping 什么是/歌词数据库;请参阅www.azlyps.com';s/robots.txt?,web-scraping,robots.txt,Web Scraping,Robots.txt,我正在从中抓取歌词数据,其robots.txt的内容如下: User-agent: * Disallow: /lyricsdb/ Allow: / User-agent: 008 Disallow: / 我可能太过直白,但没有返回任何内容-这只是一个简短的参考他们的整个歌词数据库? 提前谢谢
User-agent: *
Disallow: /lyricsdb/
Allow: /
User-agent: 008
Disallow: /
我可能太过直白,但没有返回任何内容-这只是一个简短的参考他们的整个歌词数据库?
提前谢谢