如何通过linux终端复制文件中的网页内容?

如何通过linux终端复制文件中的网页内容?,linux,Linux,我想在Linux中将一些文本从网页复制到文件中。我知道“wget”可以用来下载文件,但我最喜欢的数据并没有存储在文件中,当我想要它们时,我必须使用手动复制和粘贴,这对于成千上万的网页来说是非常困难的。 例如,我需要以下链接中的数据: 和类似的链接,具有不同的年、月、从、到STNM值。 是否有任何命令/脚本可以自动复制和粘贴?首先,制作一个包含年、月、从、到和stnm的文件。每行一行: inputFile.txt: 2017,09,0112,0112,72672 2017,08,0112,011

我想在Linux中将一些文本从网页复制到文件中。我知道“wget”可以用来下载文件,但我最喜欢的数据并没有存储在文件中,当我想要它们时,我必须使用手动复制和粘贴,这对于成千上万的网页来说是非常困难的。 例如,我需要以下链接中的数据:

和类似的链接,具有不同的年、月、从、到STNM值。
是否有任何命令/脚本可以自动复制和粘贴?

首先,制作一个包含年、月、从、到和stnm的文件。每行一行:

inputFile.txt:

2017,09,0112,0112,72672
2017,08,0112,0112,72672
在shell脚本中,逐行循环该文件,并执行wget,将硬编码值替换为从读取行填充的变量:

#!/bin/bash
while IFS=, read -r year month from to stnm; do
  wget "http://weather.uwyo.edu/cgi-bin/sounding?region=naconf&TYPE=TEXT%3ALIST&YEAR=$year&MONTH=$month&FROM=$from&TO=$to&STNM=$stnm"
done < inputFile.txt
在本例中,将生成两个新文件,一个用于九月,另一个用于八月

bash whateveryounamedthisscript.sh