Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/macos/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python Macos上的批处理文件,以执行lynx命令下载网站列表_Python_Macos_Command - Fatal编程技术网

Python Macos上的批处理文件,以执行lynx命令下载网站列表

Python Macos上的批处理文件,以执行lynx命令下载网站列表,python,macos,command,Python,Macos,Command,我试图为一项研究准备一个定性数据集。我有一个为特定主题分类的网站的大列表。我所需要的并不复杂,但超出了我对命令行的了解。 我需要使用lynx命令行工具将各种网站转储到.txt文件。例如:lynx-dump-nolist”“>file.txt 我有一个1000个网站的列表,所以一个接一个地做几乎是不可能的。 我如何在MacOSX上创建一个脚本,从文本文件中获取列表,并将所有内容转储到一个文本文件中。如果不可能在一个文本文件上执行此操作,那么如何通过分别创建一个新文件以相互跟踪来执行此操作。文件名称

我试图为一项研究准备一个定性数据集。我有一个为特定主题分类的网站的大列表。我所需要的并不复杂,但超出了我对命令行的了解。 我需要使用lynx命令行工具将各种网站转储到.txt文件。例如:lynx-dump-nolist”“>file.txt 我有一个1000个网站的列表,所以一个接一个地做几乎是不可能的。 我如何在MacOSX上创建一个脚本,从文本文件中获取列表,并将所有内容转储到一个文本文件中。如果不可能在一个文本文件上执行此操作,那么如何通过分别创建一个新文件以相互跟踪来执行此操作。文件名称本身可以是文件(1)、文件(2)等。。但无论如何,一个转储文件会更好。 可能吗?或者这可以通过简单的编程来实现?
提前谢谢。

我建议使用
bash
这样的一行代码:

while read l; do echo "##########"; echo $l; echo "##########"; lynx -dump -nolist "$l"; done < sites.txt > results.txt
brew install parallel
然后通过以下方式更快地完成工作:

parallel -j 16 -a sites.txt lynx -dump -nolist > results.txt