介绍
原理
Client端
catchUrl:提交抓取任务,并等待结果
Worker端
popCatch:领取抓取任务,并执行抓取任务
updateCatch:更新抓取任务,上报抓取结果
Group(分组):
在Client端提交抓取任务的时候指定Group,那么在Worker端领取抓取任务的时候也必须指定相同的Group,在Worker端更新抓取任务的时候同样必须指定相同的Group。
Delay模块
介绍
原理
Client端
catchUrl:提交抓取任务,并等待结果
Worker端
popCatch:领取抓取任务,并执行抓取任务
updateCatch:更新抓取任务,上报抓取结果
Group(分组):
在Client端提交抓取任务的时候指定Group,那么在Worker端领取抓取任务的时候也必须指定相同的Group,在Worker端更新抓取任务的时候同样必须指定相同的Group。
Delay模块