• 进入"运维那点事"后,希望您第一件事就是阅读“关于”栏目,仔细阅读“关于Ctrl+c问题”,不希望误会!

Shell多进程实现

脚本编程 彭东稳 7年前 (2017-08-11) 31056次浏览 已收录 0个评论

一、前言

在业务开发过程中,经常会在后台写一些shell脚本处理数据,但估计很多人不知道shell脚本也可以支持多进程,而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

二、需求

为了更好的说明问题,我们结合例子讲解,假设需求就是扫描url.txt文件,然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL,如:

单进程实现

那么shell脚本scanurl.sh可以这样写:

那么可以执行下面的命令扫描:

但这样脚本执行非常慢,一万个URL几个小时都扫描不完。

多进程实现

改成多进程实现非常简单,只需要在do后面的大括号加&符号,在done后面加一个wait,表示父进程等待子进程退出后再退出。

这样就能多进程并发执行了,但有个问题是进程会一下子非常多,几百上千,超过系统限制报错,下面我们就加上进程数控制。

多进程实现并控制进程数

上面的代码就可以保证子进程在指定数量了,其进程控制原理是通过管道实现的,当管道无内容可读时就不会执行。而且每个进程执行完成后都会向管道写入一个换行符,从而保证进程数是指定的。

这样就能达到我们的目的了。

最后来一个根据位置参数个数跑多进程任务,示例代码如下:

然后就可以在命令行,输入数值了:

脚本会跟着你位置参数的个数决定开启多少个进程跑任务。


如果您觉得本站对你有帮助,那么可以支付宝扫码捐助以帮助本站更好地发展,在此谢过。
喜欢 (5)
[资助本站您就扫码 谢谢]
分享 (0)

您必须 登录 才能发表评论!