我在服务器上有三千个文件.我可以通过REST API调用一次检索一个.我写了一个命令来检索这些文件.它工作得很好,但是在大约200次下载后我的登录超时.
我想并行而不是串行下载所有这些文件.理想情况下,我想一次检索1-200个文件,同时检索200-400个文件,同时检索400-600个文件….
所以我的尝试：
FOR /L %i in (0,1,200) do wget --no-check-certificate --content-disposition --load-cookies cookies.txt \ -p https://username:password@website.APICall.com/download/%i
如何将其转换为我想要创建的并行调用？
谢谢.
解决方法
安装Cygwin和GNU Parallel后,您可以使用以下命令下载持续运行200个并行下载的3000个文件：
seq 3000 | parallel -j 200 wget --no-check-certificate --content-disposition --load-cookies cookies.txt -p https://username:password@website.APICall.com/download/{}
