上一篇文章我们讲述了网页结构和Xpath表达式语法知识，感兴趣的小伙伴可以戳这篇文章：网页结构的简介和Xpath语法的入门教程。我们了解到Xpath表达式最好是通过自己进行网页分析和针对性的选取唯一性的标签进行定位，可以提高提取效率，而且还不容易出错。

Scrapy中的BaseSpider爬虫类只能抓取start_urls中提供的链接，而利用Scrapy提供的crawlSpider类可以很方便的自动解析网页上符合要求的链接，从而达到爬虫自动抓取的功能。要利用crawSpider和BaseSpider的区别

既然是Python程序员找美女，就要用python程序员的方法。今天我们的目标是，爬社区的美女~而且，我们又要用到新的姿势(雾)了~scrapy爬虫框架~在写过几个爬虫程序之后，我们就知道，利用爬虫获取数据大概的步骤：请求网页，获取网页，匹配信息，下载数据

在这篇入门教程中，我们假定你已经安装了python。如果你还没有安装，那么请参考安装指南。scrapy.cfg: 项目的配置文件。ArticleSpeder/: 该项目的python模块。之后您将在此加入代码。pass通过xpath技术获取对应文章的一些字

如果顺利的话不用管直接一路下来就OK. 验证是否安装成功。使用whl进行安装，不过需要先安装whl. 安装完成后下载lxml的whl文件。使用whl安装，大体过程如1），故不详述

在安装Scrapy前首先需要确定的是已经安装好了Python。执行CMD，然后运行一下命令：。pip install Scrapy如果你的电脑先前装过visual studio 2008 或 visual studio 2010那么一起顺利，Scrapy已

在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。我们将会用开放目录项目作为我们例子去抓取。创造一个新的Scrapy项目 定义您将提取的Item 编写一个蜘蛛去抓取网站并提取Items。编写一个Item Pip

execute()这意味着 一个scrapy命令，比如 scrapy crawl IcecatCrawler. 其中，Script parameters 所填写的就是其中执行的命令。