Curl 刮削、卷曲:提取的饼干不起作用,broser';是的

Curl 刮削、卷曲:提取的饼干不起作用,broser';是的,curl,cookies,web-scraping,Curl,Cookies,Web Scraping,我正试图用ruby和Nokogiri来清理网站www.lider.cl 我尤其对产品清单感兴趣。类别的列表如下所示: URL1 = https://www.lider.cl/walmart/catalog/category.jsp?id=cat320019&pId=CF_Nivel1_000003&navAction=jump&navCount=0 在查看浏览器上的网络部分时,我发现为了以编程方式获取产品列表,而不必使用支持javascript的浏览器库,我可以直接发布

我正试图用ruby和Nokogiri来清理网站www.lider.cl

我尤其对产品清单感兴趣。类别的列表如下所示:

URL1 = https://www.lider.cl/walmart/catalog/category.jsp?id=cat320019&pId=CF_Nivel1_000003&navAction=jump&navCount=0
在查看浏览器上的网络部分时,我发现为了以编程方式获取产品列表,而不必使用支持javascript的浏览器库,我可以直接发布到:

URL2 = https://www.lider.cl/walmart/category/product/food/foodProductListContent.jsp?catName=Arroz"%"20y"%"20Legumbres&pId=CF_Nivel1_000003&cId=&sId=cat320019
现在,为了正确执行URL2,我需要传递一个cookie

因此,我的方法是首先调用URL1,获取cookie并将其传递给URL2,如下所示:

curl "https://www.lider.cl/walmart/category/product/food/foodProductListContent.jsp?catName=Arroz"%"20y"%"20Legumbres&pId=CF_Nivel1_000003&cId=&sId=cat320019" -H "Cookie: JSESSIONID=55580F4B138C8660989405EFF8665988.CL2NTS1P60082_store16;"
如果我通过检查firefox获得JSESSIONID并执行上述命令,则curl中生成的页面是正确的。但是,如果我卷曲URL1并让cookie将其传递给URL2,它将不起作用,我将得到一个页面,表明搜索无效

有人能帮我理解firefox是如何得到一个有效的cookie而不是nt curl的吗

关于使用
--cookie jar
--cookie

$ curl --cookie-jar /tmp/myCookies "$URL1"
$ curl --cookie /tmp/myCookies "$URL2"
使用
--cookiejar
--cookie

$ curl --cookie-jar /tmp/myCookies "$URL1"
$ curl --cookie /tmp/myCookies "$URL2"
请读“。你的问题中没有任何东西表明它与Ruby或Nokogiri有关,除了你说你正在使用Ruby和Nokogiri。请不要在没有代码显示其用途的情况下标记问题。这似乎只是一个卷曲问题。请阅读“”。你的问题中没有任何东西表明它与Ruby或Nokogiri有关,除了你说你正在使用Ruby和Nokogiri。请不要在没有代码显示其用途的情况下标记问题。这似乎只是一个旋度问题。