Google chrome 可以从命令行使用chrome检索URL';文件的内容是什么?

Google chrome 可以从命令行使用chrome检索URL';文件的内容是什么?,google-chrome,cookies,command-line,cmd,scripting,Google Chrome,Cookies,Command Line,Cmd,Scripting,我一直在疯狂地尝试获取curl、wget、python请求模块和其他模块,只是为了让我登录到一个网站并在那里提取页面文本。我当然可以从该站点请求HTML,但只能作为匿名用户。我花了几个小时研究chrome的“复制卷曲”功能,但这个网站足够聪明,可以抵御登录回放 我只想从命令行中找到一种方法来执行以下操作: chrome.exe --output_to_file page.html https://www.endpoint.com/auth_access_only.html 本质上,我希望chr

我一直在疯狂地尝试获取curl、wget、python请求模块和其他模块,只是为了让我登录到一个网站并在那里提取页面文本。我当然可以从该站点请求HTML,但只能作为匿名用户。我花了几个小时研究chrome的“复制卷曲”功能,但这个网站足够聪明,可以抵御登录回放

我只想从命令行中找到一种方法来执行以下操作:

chrome.exe --output_to_file page.html https://www.endpoint.com/auth_access_only.html
本质上,我希望chrome能像cURL那样为我做,但我希望命令行调用能像我一样执行。我可以看到这个可能会打开一个潜在的安全问题,但我一点也不介意我是否必须做一些神奇的事情来授权我的脚本。我不想做任何坏事——我只是希望能够写出和我一样“我”的脚本


我想,如果这真的不可避免,我可以把它吸起来,掸掉IE浏览器上的灰尘。我真的不想那样做。我会觉得很脏。

这是可能的,但并不像你想的那么简单

您可以使用远程控制Chrome

您需要编写一些代码来完成这项工作——我已经使用Node.js库完成了类似的任务

确保您了解a是什么以及您的配置文件文件夹所在的位置

如果Chrome已经在使用您的浏览器配置文件运行:请确保它是使用
--远程调试端口=9002
或类似工具启动的

如果Chrome尚未使用您的浏览器配置文件运行:使用
--user data dir=“C:\path\to\your\profile”--远程调试端口=9002
或类似工具启动它

“运行与否”部分有点棘手-您不能使用相同的浏览器配置文件启动多个Chrome实例,但您需要使用此用户配置文件,因为您的登录数据存储在其中。实际上,创建一个单独的浏览器配置文件(仅用于此自动任务)并登录到该站点可能是最简单的

然后,在较高级别上,您的Node.js代码需要连接到Chrome,加载页面,等待响应,并将其保存到文件中。看看
chrome远程界面
库的示例代码-您完全可以从中拼凑出所需的内容


使用相同底层技术的另一个选择是使用另一个自动化Chrome的工具。它设计为每次都从一个新的配置文件开始。如果执行此操作,则需要编写更多交互脚本:

  • 访问站点的登录页面
  • 在表单中键入登录凭据,然后单击登录按钮
  • 访问站点的已验证页面并将其保存到文件中
这种方法的好处是,结果应该更可靠,防止出现诸如过期登录会话之类的问题