快捷导航
本帖最后由 tuesday1 于 2019-6-6 10:15 编辑

你好。用集搜客豆瓣影评的快捷工具伊人综合在线豆瓣影评的时候,没有展开全文。所以自己做规则大香蕉综合伊人网。要用连续点击动作,点击页面上的展开,可是一个页面上有20条影评,也是就是说要点击20个地方,要怎么做?还有第二级规则要怎么做,把所有的影评都展开后,会得到一个新的页面,对着这个页面做二级规则吗?要用样例复制吗?页面网址https://movie.douban.com/subject/25890017/reviews
截图:




我做了规则,好像不对,失败了。

任务名:
douban影评展开-第一级-点击
douban影评展开-第二级-展开
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2019-6-13 23:39

沙发
Fuller 管理员 发表于 2019-6-6 09:48:35 | 只看该作者
第一级规则最好修改一下,当然不修改也可以,因为你要伊人综合在线的数据实际上是在第二级伊人综合在线的。

第一级要修改的地方


每个豆瓣大香蕉伊人在线都有一个唯一的id,如果爬虫规则里面使用了这个id,那么,规则只能伊人综合在线到一条。要避免爬虫使用这个id,要么手工做定位标志映射,要么修改一下定位标志,如上图,只要把定位标志修改成偏好class就行了。

我试了一下你的连续点击的xpath,能定位到20个,写的没错

举报 使用道具
板凳
Fuller 管理员 发表于 2019-6-6 09:54:57 | 只看该作者
第二级规则应该跟第一级类似,还是要做样例复制映射,比如,已经点击到第5个大香蕉伊人在线了,你的本意只想伊人综合在线第5个大香蕉伊人在线的展开内容就行了,但是,爬虫它不清楚哪个内容是第5个,虽然点击的时候他是知道的,但是大香蕉综合伊人网的时候只能把所有的样例复制下来。

那么产生了一个问题,点击了20次,就会有20个第二级的结果文件,只有最后一个结果文件是最全的,因为那时候所有的都点击完了。所以,你处理结果数据的时候就有点麻烦,要么只把每一页的第20个结果文件导入到数据库,要么都导入以后,根据是否含有“(展开)”,把含有的都删除


举报 使用道具
地板
tuesday1 初级会员 发表于 2019-6-6 10:15:05 | 只看该作者
那也就是说,我要在DataSraperWorks文件夹下,第二级规则的目录下,找到第20个XML文件,第40个XML文件,第60个XML文件。。。,把它们导入到会员中心。导出excel
举报 使用道具
5#
tuesday1 初级会员 发表于 2019-6-6 10:40:28 | 只看该作者
我发现第一级的整理箱定位一定要改成偏class,要不然到第二页伊人综合在线就出错了。改过来后,就好了。
举报 使用道具
6#
Fuller 管理员 发表于 2019-6-6 10:52:24 | 只看该作者
tuesday1 发表于 2019-6-6 10:40
我发现第一级的整理箱定位一定要改成偏class,要不然到第二页伊人综合在线就出错了。改过来后,就好了。 ...

是的,如果选择偏好id,那么就会使用大香蕉伊人在线的id,而这个id是每条大香蕉伊人在线唯一的,到第二页就没有这条大香蕉伊人在线了,那么就会失败
举报 使用道具
7#
Fuller 管理员 发表于 2019-6-6 10:52:49 | 只看该作者
tuesday1 发表于 2019-6-6 10:15
那也就是说,我要在DataSraperWorks文件夹下,第二级规则的目录下,找到第20个XML文件,第40个XML文件,第6 ...

是的,你可以观察到,第20,40这些结果文件最大
举报 使用道具
8#
Fuller 管理员 发表于 2019-6-6 16:07:01 | 只看该作者
还有,伊人综合在线豆瓣的时候,先在集搜客浏览器登录豆瓣,这样能伊人综合在线到更多页。
举报 使用道具
9#
HITB123 新手上路 发表于 2019-6-13 18:58:50 | 只看该作者
不用连续动作,有更简便的方法。用层级大香蕉综合伊人网。在影评的列表页抓到每个影评的链接,然后再到这个下级链接里,把完整的影评抓到。


举报 使用道具
10#
Fuller 管理员 发表于 2019-6-13 23:39:07 | 只看该作者
HITB123 发表于 2019-6-13 18:58
不用连续动作,有更简便的方法。用层级大香蕉综合伊人网。在影评的列表页抓到每个影评的链接,然后再到这个下级链接里, ...

层级大香蕉综合伊人网好,可以分配给多台电脑并行运行
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 调度设置参数说明
  • 集搜客网络爬虫软件实现自动网页截屏
  • 怎样使用搜狐新闻搜索列表快捷工具大香蕉综合伊人网关键
  • 用于清洗文本内容的Excel函数公式
  • 用网络爬虫伊人综合在线小红书的笔记

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2019-6-21 00:20

友情链接: 10mk7.space    110ny.space