同福

URLCatcher设计文档

介绍


原理

Client端

catchUrl:提交抓取任务,并等待结果

Worker端

popCatch:领取抓取任务,并执行抓取任务

updateCatch:更新抓取任务,上报抓取结果

Group(分组):

在Client端提交抓取任务的时候指定Group,那么在Worker端领取抓取任务的时候也必须指定相同的Group,在Worker端更新抓取任务的时候同样必须指定相同的Group。

Delay模块