使用urllib.request()请求一个网页内容，并且把内容打印出来。# 存取到内存当中是bytes流，使用read方法把rsp的内容读取出来，赋值给变量html。# 使用decode解码成我们能够看懂的格式。D:\ProgramData\Anacon

post = re.findall(‘<span class="post-view-count">(.*?)</span>‘, html). lb1.place(relx=0.1, rely=0.1, relwi

BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。BeautifulSoup自动将输入文档转换

最近写一个小爬虫，需要拿到邮箱信息，发现拿不到，也不是ajax接口。最后查资料发现是被Cloudflare加密起来了，有加密肯定有解密。for e += ‘%’ + .slice;前面的 2 位数字转化成 16 进制之后就是秘钥, 接下来的每两位字符跟秘

　　　　爬取数据时，有时候会出现无法通过正常的requests请求获取网页内容，导致数据无法抓取到，遇到这种情况时，可以换种思路去爬取数据，使用PhantomJS，即爬虫终极解决方案去获取页面元素。

#!/usr/bin/env python3. hd = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Fir

搜索引擎课的一次小实验~以指定网址为根节点，遍历访问 50 个页面并爬取这些页面上的所有网址。visited = [] # 已经访问过（爬取过）的url。end_flag = False # 标志是否该结束了。req = requests.get # ve

http协议是 协议是超文本传输协议，超文本：html-->超文本标记语言，端口80，广泛使用http协议为1. https全称是Hyper Text Tranfer Protocol over Secure Socket Layer 是以安全为目标

　　一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。实际的网络爬虫系统通常是几种爬虫技术相结合实现的。由于商业原因，它们的技术细节很少公布出来。虽然存在一定缺陷，通用网络爬虫适用于为搜索引擎搜索广泛的主题，有较强的应用价值。为提高工作效率，通用网络

曾经年少无知，笑对python爬虫。如今首战未捷，却已头顶清凉...奈何心中执着，不愿面对结果。若有江湖侠客，还望拔刀相助！　　　　　3.于是有代码诞生：soup.find_all；　　　　　　but，康康运行结果....但这也是一个很快乐的过程，一直在探

filename="D:/贴吧/第"+str+"页.html" #每次请求后保存的文件名

只需要在cmd运行pip install scrapy就可以自动安装。用scrapy-h检验是否成功安装。Scrapy部署一个简单的爬虫库，是一个爬虫框架。此外和requests库相比，Scrapy库适合大型爬虫，适合网站爬虫。Scrapy框架有几个主要的

url=[要下载的vip电影]. 我采用输入链接的方式来拼接get请求要访问的url，顺便使用urllib库将输入链接编码，方便后面的post请求使用。‘wap‘:‘0‘,

# with open(‘sogou.html‘, "w", encoding=‘utf-8‘) as f:. "query": wd,"query": wd,"query":

先解压xpath-helper.rar,下载后的压缩包如下图：。将xpath-helper.crx的后缀名修改为.rar后继续解压，解压后得到下图：。看到上图后，点击，点击选择解压的文件即可。此时，已经安装成功，如下图：。打开谷歌浏览器，通过快捷键ctrl

浏览器主要是为用户向服务器发起请求，并获取到信息。如果爬虫想要模仿浏览器获取信息的过程，应该怎么实现呢?需要利用哪些工具?浏览器是通过HTTP协议的请求获取信息的，URL只是标识资源的位置。客户端发送一个HTTP请求到服务器请求消息，包括如下格式：请求行、

现在快递遍布生活的角角落落，一个快递其实是信息的集合体，里面包含大量的物流信息，那能不能自己实现一个快递查询的小功能？现在也有别人整理好的快递查询api，比如说快递100，可以通过它提供的API查询各个快递品牌的物流信息，但它的免费版本一天只能查询100次

if isinstance: # 判断tr的子节点是否为非属性字符串

今天准备进行北京市政府信件列表界面信息的爬取，通过老师给的教程发现界面的跳转网址不会发生改变，原来的思路不可用，查询资料可以使用geckodeiver来驱动网页的自动跳转。其次学习了爬取中需要用到的css选择器的使用。初步了解了爬虫的思路。

web_data = getHTMLText # web_data保存目标url的html代码内容。res = re.compile # 定义查询规则，所有以src开头，中间包含任意多个字符的，并且结尾为.jpg的文件被。reg = re.findall