爬虫笔记（五）- 关于Scrapy 全站遍历Crawlspider-飞

 

首先要感谢小白进阶之Scrapy第二篇（登录篇）
笔者是爬取了www.haoduofuli.wang，可惜挂掉了。所以我转移了目标~~~
目标站点：www.cuiqingcai.com
代码已经上存到github下载

导入库

假设你会使用scrapy创建项目，我们直接开始，再spider文件夹下面新建一个blog.py的文件

# CrawlSpider与Rule配合使用可以起到历遍全站的作用、Request干啥的我就不解释了from scrapy.spiders import CrawlSpider, Rule, Request# 配合Rule进行URL规则匹配from scrapy.linkextractors import LinkExtractor

简单例子

详细可以参考Scrapy中文文档Crawlspider的例子

# CrawlSpider与Rule配合使用可以起到历遍全站的作用、Request干啥的我就不解释了from scrapy.spiders import CrawlSpider, Rule, Request# 配合Rule进行URL规则匹配from scrapy.linkextractors import LinkExtractorclass myspider(CrawlSpider):    name = 'cqc'    allowed_domains = ['cuiqingcai.com']    count_all = 0    url_all = []    start_urls = ['http://cuiqingcai.com']    label_tags = ['爬虫', 'scrapy', 'selenium', 'selenium']    rules = (        Rule(LinkExtractor(allow=('\d+\.html$$',)), callback='parse_item', follow=True),    )    def parse_item(self, response):        print(response.url)

代码要点：

继承CrawlSpiderRule里面的allow用的是正则表达式，根据需要写

你会很惊讶发现就这短短的十几行代码就可以爬整个网站的代码抓下来了，

原理图爬取结果结果展示爬虫入门

Python爬虫入门1之综述
Python爬虫入门2之爬虫基础了解
Python爬虫入门3之Urllib库的基本使用
Python爬虫入门4之Urllib库的高级用法
Python爬虫入门5之URLError异常处理
Python爬虫入门6之Cookie的使用
Python爬虫入门7之正则表达式

爬虫利器

Python爬虫利器1之Requests库的用法
Python爬虫利器2之BeautifulSoup的用法
Python爬虫利器3之Xpath语法与lxml库的用法
Python爬虫利器4之PhantomJS的用法
Python爬虫利器5之Selenium的用法
Python爬虫利器6之PyQuery的用法

爬虫进阶

Python爬虫进阶1之爬虫框架概述
Python爬虫进阶2之PySpider框架安装配置
Python爬虫进阶3之Scrapy框架安装配置
Python爬虫进阶4之PySpider的用法
Python爬虫进阶5之多线程的用法
Python爬虫进阶6之多进程的用法
Python爬虫进阶7之设置ADSL拨号服务器代理

爬虫实战

Python爬虫实战1之爬取糗事百科段子
Python爬虫实战2之爬取百度贴吧帖子
Python爬虫实战3之实现山东大学无线网络掉线自动重连
Python爬虫实战4之抓取淘宝MM照片
Python爬虫实战5之模拟登录淘宝并获取所有订单
Python爬虫实战6之抓取爱问知识人问题并保存至数据库
Python爬虫实战7之计算大学本学期绩点
Python爬虫实战8之利用Selenium抓取淘宝匿名旺旺

视频教程

Python爬虫学习系列教程
Python3爬虫视频学习教程

小白系列

小白学爬虫系列教程
小白进阶之Scrapy第1篇
小白进阶之Scrapy第2篇（登录篇）
Scrapy分布式的前篇–让redis和MongoDB安全点
小白进阶之Scrapy第3篇（基于Scrapy-Redis的分布式以及cookies池）
小白进阶之Scrapy第4篇（图片下载管道篇）
小白爬虫第1弹之健壮的小爬虫
小白爬虫第2弹之抓取妹子图
小白爬虫第3弹之去重去重
小白爬虫第4弹之爬虫快跑（多进程+多线程）

杂记系列

Scrapy小技巧-MySQL存储
利用Scrapy爬取知乎用户详细信息并存至MongoDB
免登录飞外微博爬虫系列之第一篇单博主微博及(性格特点有哪些？性格特点包括无力性格、不适应性格、偏执性格、分裂性格以及爆发性格等。)评论数据

扫码加微信详细咨询太和智慧养老产品和平台服务！

扫码加微信详细咨询太和智慧养老产品和平台服务！

 

 



版权声明：

---------------------------------------------------------------

所有信息来源于互联网,本文的版权归原作者所有，不代表本网观点和立场。

本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请发送邮件至 81480447@qq.com 举报，一经查实，本站将立刻删除。

扫码加微信详细咨询太和智慧养老产品和平台服务！