爬虫是 Python 的一个常见应用场景，很多练习项目就是让大家去爬某某网站。爬取网页的时候，你大概率会碰到一些反爬措施。这种情况下，你该如何应对呢？本文梳理了常见的反爬措施和应对方案。很多网站都会建立 user-agent白名单，只有属于正常范围的use

不管这些了，无所谓的东西， 这边博客，将处理图片验证码的2个比较优秀的方式进行了一次封装, 分别是百度的aip 和 一个最近火起来的识别muggle-ocr. 本篇文章介绍了爬虫中验证码的处理方式， 并把这些功能封装起来，供我们使用， 涉及到百度AIP的

借助这份对初学者友好的指南，您可以构建自己的自定义Python脚本来自动测量网站的关键速度和性能指标。在过去的一个月中，Google宣布了许多通过关键速度和性能指标来衡量用户体验的方法。巧合的是，我一直在努力编写一个Python脚本，该脚本使用Google

是 Java 网络爬虫系列文章的第一篇，如果你还不知道 Java 网络爬虫系列文章，请参看 学 Java 网络爬虫，需要哪些基础知识。第一篇是关于 Java 网络爬虫入门内容，在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例，需要提取的内容如下图所示：

近期秋招进入高峰期，28号学校有一个秋招大型招聘会，本来想在网上爬一下自己专业的招聘岗位，结果检索结果寥寥无几(摊手)，于是我就无奈的爬取并分析了一波我准备转行的大数据行业的就业行情。在前程无忧官网检索“大数据”的结果中，每条检索结果详情对应的URL存在a

如果Python爬虫发生了故障，希望第一时间来通知自己，这个时候可以通过email来向自己报告。发送邮件的协议是SMTP,Python内置对SMTP支持，可以发送纯文本邮件，html邮件，以及带附件的邮件，Python对SMTP的支持有smtplib和em

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 所设计的， 也可以应用在获取API所返回的数据 或者通用的网络爬虫。Scrapy是一个非常好用的爬虫框

小编收集了一些较为高效的Python爬虫框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。任务会自动分配到多台机器上，整个过程对用户是透明的。

《手把手教你写网络爬虫：网易云音乐歌单》 《手把手教你写网络爬虫：迷你爬虫架构》 《手把手教你写网络爬虫：开源爬虫框架对比》 《手把手教你写网络爬虫：Scrapy入门》 《手把手教你写网络爬虫：PhantomJS实战》 《手把

首先你得有一个百度云盘的账号，然后登录，用浏览器打开一个分享链接。F12打开控制台进行抓包。手动进行转存操作：全选文件->保存到网盘->选择路径->确定。点击前建议先清空一下抓包记录，这样可以精确定位到转存的api，这就是我们中学时学到的

本次爬取的是喜马拉雅的热门栏目下全部电台的每个频道的信息和频道中的每个音频数据的各种信息，然后把爬取的数据保存到mongodb以备后续使用。这次数据量在70万左右。音频数据包括音频下载地址，频道信息，简介等等，非常多。目前我还在等待三面中，或者是通知最终面