尝试使用bash脚本刮取页面时出现curl 1020错误_Bash_Curl_Web Scraping

尝试使用bash脚本刮取页面时出现curl 1020错误

bash curl web-scraping

尝试使用bash脚本刮取页面时出现curl 1020错误,bash,curl,web-scraping,Bash,Curl,Web Scraping,我正试图编写一个bash脚本来访问SSRN上的日志概述我正在尝试使用curl进行此操作，它在其他网页上对我有效，但如果我尝试运行以下代码，它会为我返回错误代码：1020： curl https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1925128 我认为这可能与URL中的问号有关，但我将其用于包含问号的其他页面它可能与页面允许做什么有关。但是，我也可以使用R的rvest包访问该页面，因此我认为它通常也可以使用bash进行访问。看起来该站

我正试图编写一个bash脚本来访问SSRN上的日志概述

我正在尝试使用

curl

进行此操作，它在其他网页上对我有效，但如果我尝试运行以下代码，它会为我返回

错误代码：1020

：

curl https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1925128

我认为这可能与URL中的问号有关，但我将其用于包含问号的其他页面

它可能与页面允许做什么有关。但是，我也可以使用R的

rvest

包访问该页面，因此我认为它通常也可以使用bash进行访问。

看起来该站点已经阻止了通过curl进行访问。更改用户代理，它应该可以正常工作，即

curl --user-agent 'Chrome/79' "https://papers.ssrn.com/sol3/papersstract_id=1925128"