Arrays 用bash进行Web抓取

我正在用bash做网页抓取。我有这些URL，它保存在一个文件URL.txt中

?daypartId=1&catId=1
?daypartId=1&catId=11
?daypartId=1&catId=2

我想将这些URL传递给另一个文件中的数组，该数组将附加到基本URL中

---

我想将URl.txt文件中的所有URl逐个附加到基本URl的末尾。

您需要一种读取每一行的方法

while IFS= read -r line ;do
        echo $line
done < "${file}"

---

向我们展示您迄今为止所做的尝试，您可能希望在IFS=read-r行时研究如何使用python；do echo$line done<${text1.txt}而[$text1.txt-lt 2]do curl{line}grep-o'.*.| sed's/]\+>//g'>>123.txt我想要一个循环，可以逐个遍历url并通过curl获取数据。当IFS=read-r line时，你不应该打开重复的问题；do echo$line done<${text1.txt}而[$text1.txt-lt 2]do curl{line}grep-o'.*.\sed's/]\+>//g'>>123.txtI正在尝试这样做。我对bash还不熟悉。你能帮我把数组循环到迭代中，这样我们就可以把它们附加到url前面了。ThanksI正在尝试循环遍历text1.txt.ARRAY=中的内容，而read-r LINE do ARRAY+=$LINE done//g'>>price.txt完成了我已经想出了这个代码，但是输出会重复，就像它只提供主页的输出一样。你能发现错误吗？像这样试试，把输出打印到屏幕上，然后看看发生了什么，我认为您的sed或grep可能有问题，但尚未检查。。排版url=而IFS=读取-r行；docurl${url}${line}|grep-o'.*'.|sed's/]\+>//g'donecurl http://example.com${line}