Php 获取真实url和真实内容的简单bot

Php 获取真实url和真实内容的简单bot,php,curl,cookies,Php,Curl,Cookies,我有一个URL,每当我在浏览器中打开它时,它会重新指向不同的域名。仅当Im从主URL重新定向时,才会显示Im重新定向到的每个域的内容换句话说:如果我在新浏览器窗口中直接打开所有重定向URL中的一个,它将显示一个空白页面 我正在尝试创建一个可以处理这两个主要任务的小机器人: 1) 获取URL正在重新定向的域名 2) 获取这些重新定向的域名的真实内容 我正在尝试使用cURL制作,包括: curl_setopt($ch,CURLOPT_COOKIE,'tmpfile.tmp') curl_setopt

我有一个URL,每当我在浏览器中打开它时,它会重新指向不同的域名。仅当Im从主URL重新定向时,才会显示Im重新定向到的每个域的内容
换句话说:如果我在新浏览器窗口中直接打开所有重定向URL中的一个,它将显示一个空白页面

我正在尝试创建一个可以处理这两个主要任务的小机器人:
1) 获取URL正在重新定向的域名
2) 获取这些重新定向的域名的真实内容

我正在尝试使用cURL制作,包括:

curl_setopt($ch,CURLOPT_COOKIE,'tmpfile.tmp')
curl_setopt($ch,CURLOPT_COOKIEJAR,'tmpfile.tmp')
curl_setopt($ch,CURLOPT_COOKIEFILE,'tmpfile.tmp')

但我只能得到主URL的以下源代码:

HTTP/1.1200正常
日期:2019年4月20日星期六22:38:21 GMT
内容类型:text/html;字符集=utf-8
传输编码:分块
连接:保持活动状态
X-Powered-By:PHP/5.4.16
Alt Svc:h2=“:443”;ma=60
服务器:cloudflare
CF-RAY:4caa9baab8cdbd98 AMS



正在加载,请稍候

window.name=String(Math.floor(Math.random()*101)+100)
如果(window.opener){window.opener=null;}
window.location.replace(“/cgi-bin/out.cgi?l=null”)

正在加载,请稍候


请帮助我制作一个脚本,假装自己是一个普通的网站访问者,并能够收集这些数据。

这是一个非常好的项目,任何帮助都将非常感谢

我直接在新的浏览器窗口中打开一个重新定向的URL,它将显示一个空白页面

那么你就不应该重复使用cookie,因为网站就是这样检查是否是同一个用户使用了新的浏览器窗口,或者是全新的浏览器,但是看起来你的代码试图重复使用cookie(从外观上看,它使用的是静态硬编码的coookie文件,如果你需要一个临时文件,那么就使用tmpfile()或者只是将cookie保存在ram中)

该页面是一个外观非常怪异且破损的javascript重定向器页面,要么你没有显示主url的完整html,要么主url没有在任何地方重定向任何人,它没有将重定向javascript放在
标记中,因此浏览器不会使用它在任何地方重定向