1、爬虫分类
通用爬虫：抓取系统重要组成部分。抓取的是一整张页面数据
聚焦爬虫：建立在通用爬虫的基础之上。抓取的是页面中国特定的局部数据
增量式爬虫：检测网站中数据更新的情况。只会抓取网站中最新出来的数据。
2.反爬机制
反爬机制：相关门户网站可以制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取
反反爬策略：爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中反爬机制，从而获取门户网站中的数据。
robots.txt 协议：君子协议。规定了网站中哪些数据可以被爬取，哪些数据不可以被爬取。
如何打开robots.txt?
网址/robots.txt
3.HTTP协议
http: 服务器和客户端进行数据交互的一种形式。
常用请求头信息：
— User-Agent：请求载体的身份标识
–Connection:请求完毕后，是断开连接还是保持连接
常见响应头信息：
–Content-Type：服务器响应回客户端的数据类型
https: 加了一个s，是security的缩小。简单来说，https比http更加安全。