快捷导航
我想每天伊人综合在线中国青年网新闻频道首页的新闻列表(http://news.youth.cn/), 如下图说示,


没有翻页,只是页面下部有个“加载更多”,可以一直点下去。
这种情况做伊人综合在线规则和每天运行爬虫应该怎么弄?
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 4 天前

沙发
内容分析应用 中级会员 发表于 4 天前 | 只看该作者
本帖最后由 内容分析应用 于 2020-7-30 10:17 编辑

这个“加载更多”,就可以当作一个普通的翻页, 规则是一样的, 参考这篇教程:翻页伊人综合在线列表
不过有一点要注意:由于每页伊人综合在线的内容都包含整个列表的新闻, 所有最后入库后的数据是有重复的, 可以根据title或者网址去重


举报 使用道具
板凳
马涌河畔 初级会员 发表于 4 天前 | 只看该作者
那爬的时候, 就一直点“加载更多”?  我每天执行点几次就够了
举报 使用道具
地板
内容分析应用 中级会员 发表于 4 天前 | 只看该作者
用爬虫群窗口伊人综合在线就可以自定义翻页次数,参考这篇帖子:怎样控制翻页数量?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能伊人综合在线微博内容吗?
  • 怎样使用GooSeeker数据管家启动伊人综合在线任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-8-3 13:23

友情链接: 513vjr.space    110ny.space