Fatal编程技术网
  • curl/
  • 使用Curl下载HTML进行解析的问题

使用Curl下载HTML进行解析的问题

curl

使用Curl下载HTML进行解析的问题,curl,libcurl,Curl,Libcurl,我一直在尝试从TikTok下载一些信息，以绘制一些信息，比如视图、喜好等等 我查看了在CMD终端中使用curl会收到哪些信息，包括以下信息： mycurl> curl -k https://www.tiktok.com/@liamferrari/video/6816604410496519429 其中我收到以下输出： {"statusCode":200,"contentType":"application/json","content":""} 然而，当我在几乎任何其他网页上使用cur

我一直在尝试从TikTok下载一些信息，以绘制一些信息，比如视图、喜好等等

我查看了在CMD终端中使用curl会收到哪些信息，包括以下信息：

mycurl> curl -k https://www.tiktok.com/@liamferrari/video/6816604410496519429
其中我收到以下输出：

{"statusCode":200,"contentType":"application/json","content":""}
然而，当我在几乎任何其他网页上使用curl时，我会收到预期的完整HTML代码

我没有从web页面接收HTML代码有什么明显的原因吗？当我打开web控制台时，我可以看到我试图使用curl访问的HTML信息

如果有人能提供一些见解，那就太好了

问候

Defender看起来像TikTok需要指定一个用户代理（此处使用Firefox）

请注意，他们很可能会对此进行过滤以减少刮取，这样做可能会违反他们的EULA。

看起来TikTok需要指定用户代理（此处使用Firefox）

请注意，他们最有可能通过过滤来减少刮擦，这样做可能会违反EULA

curl -A "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0" -k https://www.tiktok.com/@liamferrari/video/681660441049651