如何从列表和多线程中获取？
How to wget from list & multi-thread?
我一直在使用它从存储在文本文件中的列表中获取大量 URL：
wget -i websites.txt
但是，在我看来，一次下载一个文件然后继续下一个文件。我对此可能是错误的，如果是这样，请随时告诉我。
但是如果我想让它同时下载 10 或 20 个文件怎么办？这可以用一个简单的 wget 命令来完成，还是需要更复杂的东西？
顺便说一下，这些都是正在下载的非常小的文件 (~80kb)。下载数百万次似乎需要很长时间...
您可以使用并行命令：
parallel -a websites.txt --jobs 10 wget
with -a 从文件中读取每一行，--jobs 表示要读取多少行
运行 并行，wget 将以文件的下一行作为后缀。
我一直在使用它从存储在文本文件中的列表中获取大量 URL：
wget -i websites.txt
但是，在我看来，一次下载一个文件然后继续下一个文件。我对此可能是错误的，如果是这样，请随时告诉我。
但是如果我想让它同时下载 10 或 20 个文件怎么办？这可以用一个简单的 wget 命令来完成，还是需要更复杂的东西？
顺便说一下，这些都是正在下载的非常小的文件 (~80kb)。下载数百万次似乎需要很长时间...
您可以使用并行命令：
parallel -a websites.txt --jobs 10 wget
with -a 从文件中读取每一行，--jobs 表示要读取多少行
运行 并行，wget 将以文件的下一行作为后缀。