专注收集记录技术开发学习笔记、技术难点、解决方案
网站信息搜索 >> 请输入关键词:
您当前的位置: 首页 > 行业应用

爬虫配置搜狗微信稿子技巧总结(必看篇)

发布时间:2010-06-06 16:59:16 文章来源:www.iduyao.cn 采编人员:星星草
爬虫配置搜狗微信文章技巧总结(必看篇)

本文演示无需代码可视化的方法抓取搜狗微信文章的方法。。



在开始之前,可以先参考一下这些文章,希望有帮助:
小白30分钟学会网页爬虫
网页爬虫真实案例记录

 

文中用到的可视化爬虫制作工具(官网),只作为演示使用,实际应用中可以替换成自己拿手的工具或代码语言即可。

 

演示网址:http://weixin.sogou.com/

 

搜狗微信搜素:搜狗微信搜索是搜狗在2014年 9日推出的一款针对微信 平台而设立的。“微信搜索”支持搜索微信 号和微信文章,可以 关键词搜索相关的微信 号,或者是微信 号 的文章。不仅仅在PC端,搜狗的移动搜索客户端同样会进行相关的微信 号 。

 

搜狗微信文章抓取数据说明:本文进行了搜狗微信-搜索-大数据的所有文章信息抓取。本文仅以“搜狗微信-搜索-大数据的所有文章信息抓取”为例。大家在实操过程中,可根据自身需求,更换搜狗微信的搜索词进行数据抓取。

 

搜狗微信文章抓取详细抓取字段说明:微信文章标题、微信文章关键字、微信文章概括、微信 号名称、微信文章发布时间、微信文章地址。

 

步骤1:创建抓取任务1)进入主界面,选择“自定义模式”

 

大图>>

2)将要抓取的网址URL复制粘贴到网站输入框中, “保存网址”

 

大图>>

 

步骤2:创建翻页循环

1)打开右上角的“流程”。 页面中的文章搜索框,在右侧的操作提示框中,选择“输入 ”

 

大图>>

2)输入要搜索的文章信息,这里以搜索“大数据”为例,输入完成后, “确定”按钮

 

大图>>

3)“大数据”会自动填充到搜索框, “搜文章”按钮,在操作提示框中,选择“ 该按钮”

 

大图>>

4)页面 现了“大数据”的文章搜索结果。将结果页面下拉到底部, “下一页”按钮,在右侧的操作提示框中,选择“循环 下一页”

 

大图>>

 

步骤3:创建列表循环并提取数据1)移动鼠标,选中页面里第一篇文章的区块。系统会识别此区块中的子元素,在操作提示框中,选择“选中子元素”

 

大图>>

2)继续选中页面中第二篇文章的区块,系统会自动选中第二篇文章中的子元素,并识别出页面中的其他10组同类元素,在操作提示框中,选择“选中全部”

 

大图>>

3)我们可以看到,页面中文章区块里的所有元素均被选中,变为绿色。右侧操作提示框中,出现字段预览表,将鼠标移到表头,  桶图标,可删除不需要的字段。字段选择完成后,选择“抓取以下数据”

 

大图>>

4)由于我们还想要抓取每篇文章的URL,因而还需要提取一个字段。 第一篇文章的链接,再 第二篇文章的链接,系统会自动选中页面中的一组文章链接。在右侧操作提示框中,选择“抓取以下链接地址”

 

大图>>

 

5)字段选择完成后,选中相应的字段,可以进行字段的自定义命名。完成后, 左上角的“保存并启动”,启动抓取任务

 

大图>>

6)选择“启动本地抓取”

 

大图>>

 

步骤4:数据抓取及导出

1)抓取完成后,会跳出提示,选择“导出数据”,选择“合适的导出方式”,将抓取好的搜狗微信文章的数据导出

 

大图>>

2)这里我们选择excel作为导出为格式,数据导出后如下图

 

大图>>

 

文中用到的可视化爬虫制作工具(官网),只作为演示使用,实际应用中可以替换成自己拿手的工具或代码语言即可。

友情提示:
信息收集于互联网,如果您发现错误或造成侵权,请及时通知本站更正或删除,具体联系方式见页面底部联系我们,谢谢。

其他相似内容:

  • 《松本行弘的程序全世界》之面向对象

    《松本行弘的程序世界》之面向对象 最近读《SICP》把脑细胞搞死大半,还没看完2章,而且看得也是一知半解,实在是受不了了,...

  • GroovyHelp 3.2.7 GA公布

    GroovyHelp 3.2.7 GA发布 GroovyHelp简介   GroovyHelp是一款Javadoc及Groovydoc搜索查阅软件,它能够帮助Java开发人员以...

  • Velocity在Roller中的使用

    Velocity在Roller中的应用 Velocity是java世界中出现比较早,也比较成熟的、性能比较好的、应用也比较广泛的模板框架。   所...

  • Rpc远程调用框架的设计与兑现(2)

    Rpc远程调用框架的设计与实现(2) 接上: 3   基于Json的前后端数据交互 3.1   轻量级的数据交换形式 3.1.1    什么是Jso...

  • excel 单元格的锁定 以及 JXL的兑现方式

    excel 单元格的锁定 以及 JXL的实现方式 在使用excel表格时,有些列是不希望用户可以修改的,诸如审计日志里面确定的部分,而审计...

  • 仓秤跟散料秤:java连接opc Server

    仓秤和散料秤:java连接opc Server 这三篇都是之前写好的,一直没发。 这次一起发出来吧。   java连接硬件很痛苦,特别是对我这...

  • Rpc远程调用框架的设计与兑现(1)

    Rpc远程调用框架的设计与实现(1) Rpc远程调用框架的设计与实现 1     Rpc远程调用框架设计概述 1.1   研究背景 1.1.1...

  • 集合中的线程安全有关问题

    集合中的线程安全问题 一、why? Java中常用的集合框架推荐使用的三个实现:HashSet\ArrayList\HashMap都是线程不安全的.如...

  • Java定时任务的兑现

    Java定时任务的实现 本例依据Java自身提供的接口实现,通过监听器(Listener)和定时器(Timer)定时执行某个任务(Task)。 MyListener: ...

  • java中log日记的使用

    java中log日志的使用 一、介绍  Log4j是Apache的一个开放源代码项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控...

热门推荐: