数月前写过某网站的爬虫，这两天需要重新采集一次，用的是scrapy-redis框架，本以为二次爬取可以轻松完成的，可没想到爬虫启动没几秒，出现了大堆的重试提示，心里顿时就咯噔一下，悠闲时光估计要结束了。仔细分析后，发现是获取店铺列表的请求出现问题，通过浏览

content = select.xpath("/html/body/div[1]/div[2]/div[1]/div/div[1]/div/div/div[2]/div[1]/p[2]/strong")

Useragent是HTTP协议的中的一个字段，其作用是描述发出HTTP请求的终端的一些信息。服务器通过这个字段就可以知道要访问网站的是什么人了。每个浏览器，每个正规的爬虫都有其固定的useragent，因此只要将这个字段改为这些知名的useragent，

记得在刚找工作时，隔壁的一位同学在面试时豪言壮语曾实现过网络爬虫，当时的景仰之情犹如滔滔江水连绵不绝。后来，在做图片搜索时，需要大量的测试图片，因此萌生了从Amazon中爬取图书封面图片的想法，从网上也吸取了一些前人的经验，实现了一个简单但足够用的爬虫系统

搞了大半夜，终于把selenium 驱动Firefox调通。这是web测试工具，也可用作页面抓取工具，尤其是对网站结构比较复杂，有异步加载的网站尤为合适。废话少说，上代码，之前用Firefox35.1死活搞不定，降到31.4一次性成功，搞了大半夜，原来是这

最近三年很少写博客，虽然一直从事IT行业，但更多的是管理工作，想想真有些惭愧。最近半年，时不时业务上需要爬虫，将网页内容爬取分析，有用于AI人工智能分析，有用于大数据分析，种种应用，发现爬虫作用不小。因此更适合有一定爬虫开发经验人员阅读。虽然本文使用Jav

//configs对象的成员domains,scanUrls,contentUrlRegexes和fields. selector:"//*[@id='single-next-link']",//fields成员中第一个field对象的

四节课过去了，咱们在爬虫界也都算见过世面的人，现在再来一些什么ajax加载之类的小鱼小虾应该不在话下了，即使是淘宝这种大量的ajax，我们祭上我们的撒手锏，也轻松应对了，这一课主要是来看看除了技术上的页面处理外，我们还会遇上更棘手的问题，就是反爬虫，当然现

在开发实际项目的时候，你经常没有足够多的数据，需要自己去想办法获取，这个时候常常需要用到爬虫。然而找来找去，很可能找了很久都找不到既免费又好用的爬虫，今天就从好的爬虫开始说起，这很可能是项目成功的开始。1 综述类项目与学习资料首先给大家介绍一些非常优秀的综

*disallowListCache缓存robot不允许搜索的URL。Robot协议在Web站点的根目录下设置一个robots.txt文件,*规定站点上的哪些页面是限制搜索的。搜索程序应该在搜索过程中跳过这些区域,下面是robots.txt的一个例子:#r

假期正好有空闲时间，终于可以整理自己的笔记啦。整理到抖音视频的时候，就好麻烦，每次都要先把视频导出到本地，再给微信的文件管理助手，再下载传到印象笔记，一来二去浪费不少时间，想想这事不正好适合爬虫去干吗？于是就有了以下这篇内容。在使用Charles，你需要做

身为职场人，收集上万条表格数据做商业分析，裁剪上千张图片，发送数百封邮件...这些都是经常会遇到的场景。我一直期待能有个工具解放我，直到我遇到了Python。很多小伙伴入坑Python都是从爬虫开始的，在简单了解 HTTP 协议、网页基础知识和一些爬虫库之

爬虫的最基本就是get一个网页的源代码数据，如果更深入一些，就会出现和网页进行POST交互，获取服务器接收POST请求后返回的数据。一句话，爬虫用来自动获取源数据，至于更多的数据处理等等是后续的工作，这篇文章主要想谈谈爬虫获取数据的这一部分。爬虫请注意网站