本文转载自微信公众号「Java极客技术」，作者鸭血粉丝 。网络爬虫技术，早在万维网诞生的时候，就已经出现了，今天我们就一起来揭开它神秘的面纱!的确，pyhton 在处理网页方面，有着开发简单、便捷、性能高效的优势!但是我们 java 也不赖，在处理复杂的网

上一篇文章整理了的公众号所有文章的导航链接，其实如果手动整理起来的话，是一件很费力的事情，因为公众号里添加文章的时候只能一篇篇的选择，是个单选框。面对几百篇的文章，这样一个个选择的话，是一件苦差事。pk哥作为一个 Pythoner，当然不能这么低效，我们用

爬取某网站的项目列表页，获取其url，标题等信息，作为后续爬取详情页的任务url。这三个字段分别代表，数据插入数据，状态和更新时间。目前这个status有4个值，0-4，我这是这样定义的，后面随着任务的爬取，状态也是不断变化的，同时我们需要更新update

用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。柠檬为大家准备了一

络上有形形色色的网站，不同类型的网站爬虫策略不同，难易程度也不一样。从是否需要登陆这方面来说，一些简单网站不需要登陆就可以爬，比如之前爬过的猫眼电影、东方财富网等。有一些网站需要先登陆才能爬，比如知乎、微信等。这类网站在模拟登陆时需要处理验证码、js 加密

以后我会经常分享一本书。我分享的书，你看完如果对你有帮助，值得你购买，请到官网购买正版书籍。本书介绍了如何利用Python3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式Beautiful Soup、X

视频加载中...

最近经常有人问我，明明看着教程写个爬虫很简单，但是自己上手的时候就麻爪了。。。那么今天就给刚开始学习爬虫的同学，分享一下怎么一步一步写爬虫，直至抓到数据的过程。准备工具首先是工具的准备：python3.6、pycharm、requests库、lxml库以及

Scrapy是一款非常成熟的爬虫框架，可以抓取网页数据并抽取结构化数据，目前已经有很多企业用于生产环境。对于它的更多介绍，可以查阅相关资料。安装配置1、安装zlib首先检查一下你的系统中是否已经安装zlib，该库是一个与数据压缩相关的工具包，scrapy框