快捷导航
任务名:携程大香蕉伊人在线数据伊人综合在线
问题:1、在大香蕉综合伊人网的过程中,提示大香蕉综合伊人网成功,但速度太慢,尝试勾上定时器触发参数
2、上传xml打包的压缩包,导出后数据大量重复
主要是第一个问题,如何解决,看论坛其他人说,勾选后可能会导致一个页面没伊人综合在线完就跳到下一页了,数据大香蕉综合伊人网不全,请问是否会有这样的情况


TIM图片20200705164126.png (3.43 KB, 下载次数: 0)

TIM图片20200705164126.png
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2020-7-5 17:51

沙发
Fuller 管理员 发表于 2020-7-5 16:54:20 | 只看该作者
DS打数机菜单 配置-》定时器触发,勾上以后就能解决这个问题
举报 使用道具
板凳
Fuller 管理员 发表于 2020-7-5 17:07:42 | 只看该作者
我用你的规则伊人综合在线了一些,没有发现重复。如果网络比较慢,担心伊人综合在线太早了,可以这样设置

如果是手工启动的爬虫,那么,使用DS打数机菜单 配置-》延迟大香蕉综合伊人网 ,设置延迟大香蕉综合伊人网,我测试的时候设置了5秒

如果是爬虫群方式,设置调度参数的时候设置延迟大香蕉综合伊人网
举报 使用道具
地板
boyistar 初级会员 发表于 2020-7-5 17:40:59 | 只看该作者
Fuller 发表于 2020-7-5 17:07
我用你的规则伊人综合在线了一些,没有发现重复。如果网络比较慢,担心伊人综合在线太早了,可以这样设置

如果是手工启动的 ...

延迟大香蕉综合伊人网和定时触发这两个都勾上吗,还有一个问题,延迟大香蕉综合伊人网5秒设置后,会出现数据大香蕉综合伊人网不全的问题吗
举报 使用道具
5#
Fuller 管理员 发表于 2020-7-5 17:51:19 | 只看该作者
boyistar 发表于 2020-7-5 17:40
延迟大香蕉综合伊人网和定时触发这两个都勾上吗,还有一个问题,延迟大香蕉综合伊人网5秒设置后,会出现数据大香蕉综合伊人网不全的问题吗
...

可以一起设置。延迟大香蕉综合伊人网设置了固定的数字,到底这个时间够不够,是不能自适应调整的,所以,也不可能保证一个不漏。为了尽量不漏,应该设置的时间长一点
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能伊人综合在线微博内容吗?
  • 怎样使用GooSeeker数据管家启动伊人综合在线任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-8-9 16:11

友情链接: 1r72.space    110ny.space