shell脚本的并发

前端之家收集整理的这篇文章主要介绍了shell脚本的并发前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

shell脚本的并发

Default模式下,shell命令是阻塞执行的,可以通过其后添加&让这条命令异步执行,如:

  1. sleep 10 &
  • 1

执行这条命令后,并不会阻塞10秒,而是立即返回。

如果将这种方法用在while循环中,则可以实现多进程并行处理。例如一下test1.sh文件为:

  1. #!/bin/bash
  2. while read line
  3. do
  4. {
  5. command 1
  6. } &
  7. done
  8.  
  9. command 2
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

这样的话command 1就可以并行执行了,其实质是将每条command 1命令作为后台进程在执行,这样主进程就不用等待前面的命令执行完毕之后才开始执行接下来的命令。通过执行ls -l | test1.sh可以看到并发的进程数量

但是这样带来一个问题: 如果在while循环外面的command 2需要用到循环内部执行得到的结果,那么像test1.sh的这种写法就不work了。我们可以对其做简单修改,达到上述目的,如test2.sh

  1. #!/bin/bash
  2. while read line
  3. do
  4. {
  5. command 1
  6. } &
  7. done
  8. wait
  9.  
  10. command 2
  • 9
  • 10

上面的代码是将所有的command 1后台并行执行,等到循环里面的命令都结束之后才执行接下来的command 2

shell脚本的并发控制
有时为了避免并发进程数过多,导致机器卡死,需要限制并发的数量。以下代码实现了该功能

  1. #!/bin/bash
  2. while read line
  3. do
  4. {
  5. joblist=($(jobs -p))
  6. while (( ${#joblist[*]} >= 20 ))
  7. do
  8. {
  9. sleep 1
  10. joblist=($(jobs -p))
  11. }
  12. done
  13. sleep 10 &
  14. }
  15. done
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

以上方法通过控制后台任务数来控制并发进程数目在20个以内。

猜你在找的Bash相关文章