大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为 HTTP 协议的基本原理介绍。

计算机网络模型

计算机网络是指由通信线路互相连接的许多自主工作的计算机构成的集合体，各个部件之间以何种规则进行通信，就是网络模型研究的问题，除了标准的 OSI 七层模型以外，常见的网络层次划分还有 TCP/IP 四层协议以及 TCP/IP 五层协议，它们之间的对应关系如下图所示：

物理层（Physical）：负责传输比特流的硬件部分，包括各种传输介质（如铜线、光纤、无线信道）和传输设备（如集线器、交换机、路由器），基于电器特性发送高低电压（电信号）传输比特流（Bits），高电压对应数字 1，低电压对应数字 0，定义物理设备标准，如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等；

数据链路层（Data Link）：负责在物理层的传输介质上传送数据帧，并在源主机和目的主机之间建立逻辑链路，定义了电信号的分组方式，规定电信号多少位一组，每组代表什么，这一层还提供了对传输数据的检测和传输数据错误的纠正以确保数据的可靠传输，例如：Wi-Fi（IEEE 802.11）、ethernet（以太网）、FDDI（Fiber Distributed Data Interface，光纤分布式数据接口）等；

网络层（Network）：负责在多个主机之间传送数据包，并为分组交换提供路由选择功能，基本数据单位为 IP 数据报，主要协议：IP协议（Internet Protocol，因特网互联协议）、 ICMP（Internet Control Message Protocol，因特网控制报文协议）、IGMP（Internet Group Management Protocol，Internet 组管理协议）、ARP（Address Resolution Protocol，地址解析协议）等；

传输层（Transport）：负责在源主机和目的主机之间的端到端的数据传输，并为上层协议提供可靠的数据传输服务，主要协议：TCP 协议（Transmission Control Protocol，传输控制协议）、UDP 协议（User Datagram Protocol，用户数据报协议）；

会话层（Session）：负责封装调用 TCP，会话层建立和管理应用程序之间的通信，封装了调用 TCP 去打包，然后调用 IP 协议去找路由等操作；

表示层（presentation）：负责解决不同系统之间的通信语法问题（数据格式化，代码转换，数据加密）；

应用层（Application）：负责向用户提供网络服务，包括文件传输、电子邮件、远程登录等，主要协议：FTP（文件传送协议）、Telnet（远程登录协议）、DNS（域名解析协议）、SMTP（邮件传送协议），POP3协议（邮局协议），）。

展开全文

HTTP 发展史

协议

版本。

HTTP 协议的特点：

应用层协议，由请求和响应构成，是一个标准的客户端服务器模型；

无状态的协议，对客户端没有状态存储，对事物处理没有“记忆”能力，比如访问一个网站需要反复进行登录操作；

通常承载于 TCP 协议之上；

由请求和响应构成，是一个标准的客户端服务器模型（B/S）；

永远都是客户端发起请求，服务器回送响应；

通信使用明文、请求和响应不会对通信方进行确认、无法保护数据的完整性；

双向协议，例如在上网冲浪时，浏览器是请求方 A，百度网站就是应答方 B，双方约定用 HTTP 协议来通信，于是浏览器把请求数据发送给网站，网站再把一些数据返回给浏览器，最后由浏览器渲染在屏幕，就可以看到图片、视频了。

协议的安全版。

协议的特点：

内容加密：建立了一个信息安全通道，保证数据传输的安全性；

身份验证：确认网站的真实性，凡是使用 机构颁发的安全签章来查询；

保护数据完整性：防止传输的内容被中间人冒充或者篡改。

时势发展：

苹果公司强制所有 iOS APP 在2017年1月1日前全部改为使用 无法在应用商店上架；

谷歌从2017年1月推出的 Chrome 56 开始，对未进行 加密的网址亮出风险提示，即在地址栏的显著位置提示用户”此网页不安全“；

腾讯微信小程序的官方需求文档要求后台使用 请求进行网络通信，不满足条件的域名和协议无法正常请求。

的区别主要如下：

申请证书，一般免费证书较少，因而需要一定费用；

加密传输协议；

；

协议安全。

上述 ，可圈可点，但并不是完美无缺的：

协议的加密范围也比较有限，在黑客攻击、拒绝服务攻击、服务器劫持等方面几乎起不到什么作用；

SSL 证书的信用链体系并不安全，特别是在某些国家可以控制 CA 根证书的情况下，中间人攻击一样可行；

SSL 证书需要购买申请，功能越强大的证书费用越高；

SSL 证书通常需要绑定 IP，不能在同一 IP 上绑定多个域名，IPv4 资源不可能支撑这个消耗（SSL 有扩展可以部分解决这个问题，但是比较麻烦，而且要求浏览器、操作系统支持，Windows XP 就不支持这个扩展，考虑到 XP 的装机量，这个特性几乎没用）；

根据 ACM CoNEXT 数据显示，使用%的耗电；

高效，流量成本高；

连接服务器端资源占用高很多，支持访客多的网站需要投入更大的成本；

。

HTTP 请求过程

连接都被构造成一套请求和应答。

HTTP 请求/响应的步骤：

步骤简述：

HTTP 请求/响应模型:

通俗点讲就是在浏览器地址栏输入一个 URL，按下回车之后便可观察到对应的页面内容，实际上，这个过程是浏览器先向网站所在的服务器发送一个请求，网站服务器接收到请求后对其进行处理和解析，然后返回对应的响应，接着传回浏览器，由于响应里包含页面的源代码等内容，所以浏览器在对其进行解析，便将网页呈现出来。

HTTP 请求方法

方法：

最为常见的请求方法是 GET 和 POST，在浏览器地址栏输入一个 URL，按下回车，即发起了一个 GET 请求，请求的参数会直接包含到 URL 里；POST 请求大多在提交表单时发起，例如登录，输入用户名和密码，点击登录即发起一个 POST 请求，其数据通常以表单的形式传输，而不会体现在 URL 中，GET 和 POST 请求方法区别如下：

GET 请求中的参数包含在 URL 里，数据可以在 URL 中看到；而 POST 请求的 URL 不会包含这些数据，数据都是通过表单形式传输的，会包含在函数体中；

GET 请求提交的数据最多只有 1024 字节，POST 方式则没有限制；

GET 请求是不安全的，因为在传输过程中，参数数据直接暴露在 URL 上，所以不能用来传递敏感信息；

GET 请求参数会完整的保留在浏览器的历史记录中，POST 请求的参数不会保留；

GET 请求在浏览器回退的时候是无害的，POST 请求会再次提交数据；

GET 请求在浏览器中可以被主动 cache（缓存），而 POST 请求不会，可以手动设置；

GET 请求产生的 URL 地址是可以被 bookmark（添加书签）的，POST 请求不可以；

GET 请求只允许 ASCII 码，POST 请求没有限制，允许二进制数据；

GET 请求的执行效率比 POST 请求好；

对于 GET 请求，浏览器会把 ，请求成功；

对于POST请求，浏览器先发送 header，服务器会响应100（已经收到请求的第一部分，正在等待其余部分），浏览器再次发送 data，服务器返回200，请求成功；

简而言之：GET 产生一个 TCP 数据包，POST 产生两个 TCP 数据包，不过并不是所有浏览器都会在 POST 中发送两次包，Firefox（火狐）就只发送一次；

HTTP 请求头

的头信息包括通用头、请求头、响应头和实体头四个部分：

每个头域由一个域名，冒号（:）和域值三部分组成，常用的 HTTP 请求头如下：

Accept：请求报头域，用于指定客户端可接受那些类型的信息；

Accept: