一、计算机网络概述

1.1. 计算机通信网的组成

计算机网络由通信子网和资源子网组成。其中通信子网负责数据的无差错和有序传递,其处理功能包括差错控制、流量控制、路由选择、网络互连等。

其中资源子网是计算机通信的本地系统环境,包括主机、终端和应用程序等, 资源子网的主要功能是用户资源配置、数据的处理和管理、软件和硬件共享以及负载 均衡等。

总的来说,计算机通信网就是一个由通信子网承载的、传输和共享资源子网的各类信息的系统。

1.2. 通信协议

为了完成计算机之间有序的信息交换,提出了通信协议的概念,其定义是相互通信的双方(或多方)对如何进行信息交换所必须遵守的一整套规则。

协议涉及到三个要素,分别为:

  • 语法:语法是用户数据与控制信息的结构与格式,以及数据出现顺序的意义

  • 语义:用于解释比特流的每一部分的意义

  • 时序:事件实现顺序的详细说明

1.3. 计算机网络的分类

按照网络的作用范围:广域网(WAN)、城域网(MAN)、局域网(LAN);

按照网络使用者:公用网络、专用网络。

1.4. OSI七层模型简介

OSI(Open System Interconnection)共分为物理层、数据链路层、网络层、传输层、会话层、表示层、应用层七层,其具体的功能如下。

1.5. 计算机网络的层次结构

TCP/IP四层模型与OSI体系结构对比:

1.6. 层次结构设计的基本原则

  • 各层之间是相互独立的;

  • 每一层需要有足够的灵活性;

  • 各层之间完全解耦。

1.7. 计算机网络的性能指标

速率:bps=bit/s 时延:发送时延、传播时延、排队时延、处理时延 往返时间RTT:数据报文在端到端通信中的来回一次的时间。

二、物理层

物理层的作用:连接不同的物理设备,传输比特流。该层为上层协议提供了一个传输数据的可靠的物理媒体。简单的说,物理层确保原始的数据可在各种物理媒体上传输。

物理层设备:

  • 中继器【Repeater,也叫放大器】:同一局域网的再生信号;两端口的网段必须同一协议;5-4-3规程:10BASE-5以太网中,最多串联4个中继器,5段中只能有3个连接主机;

  • 集线器:同一局域网的再生、放大信号(多端口的中继器);半双工,不能隔离冲突域也不能隔离广播域。

信道的基本概念:信道是往一个方向传输信息的媒体,一条通信电路包含一个发送信道和一个接受信道。

  • 单工通信信道:只能一个方向通信,没有反方向反馈的信道;

  • 半双工通信信道:双方都可以发送和接受信息,但不能同时发送也不能同时接收;

  • 全双工通信信道:双方都可以同时发送和接收

三、数据链路层

3.1. 数据链路层概述

数据链路层在物理层提供的服务的基础上向网络层提供服务,其最基本的服务是将源自网络层来的数据可靠地传输到相邻节点的目标机网络层。数据链路层在不可靠的物理介质上提供可靠的传输。

该层的作用包括: 物理地址寻址、数据的成帧、流量控制、数据的检错、重发 等。

有关数据链路层的重要知识点:

  • 数据链路层为网络层提供可靠的数据传输;

  • 基本数据单位为帧;

  • 主要的协议:以太网协议;

  • 两个重要设备名称:网桥和交换机。

封装成帧:“帧”是 数据链路层 数据的基本单位:

透明传输:“透明”是指即使控制字符在帧数据中,但是要当做不存在去处理。即在控制字符前加上转义字符ESC。

3.2. 数据链路层的差错监测

差错检测:奇偶校验码、循环冗余校验码CRC

  • 奇偶校验码–局限性:当出错两位时,检测不到错误。

  • 循环冗余检验码:根据传输或保存的数据而产生固定位数校验码。

3.3. 最大传输单元MTU

最大传输单元MTU(Maximum Transmission Unit),数据链路层的数据帧不是无限大的,数据帧长度受MTU限制.

路径MTU:由链路中MTU的最小值决定。

3.4. 以太网协议详解

MAC地址:每一个设备都拥有唯一的MAC地址,共48位,使用十六进制表示。

以太网协议:是一种使用广泛的局域网技术,是一种应用于数据链路层的协议,使用以太网可以完成相邻设备的数据帧传输:

局域网分类:

Ethernet以太网IEEE802.3:

  • 以太网第一个广泛部署的高速局域网

  • 以太网数据速率快

  • 以太网硬件价格便宜,网络造价成本低

以太网帧结构:

  • 类型:标识上层协议(2字节)

  • 目的地址和源地址:MAC地址(每个6字节)

  • 数据:封装的上层协议的分组(46~1500字节)

  • CRC:循环冗余码(4字节)

  • 以太网最短帧:以太网帧最短64字节;以太网帧除了数据部分18字节;数据最短46字节;

MAC地址(物理地址、局域网地址)

  • MAC地址长度为6字节,48位;

  • MAC地址具有唯一性,每个网络适配器对应一个MAC地址;

  • 通常采用十六进制表示法,每个字节表示一个十六进制数,用 - 或 : 连接起来;

  • MAC广播地址:FF-FF-FF-FF-FF-FF。

四、网络层

网络层的目的是实现两个端系统之间的数据透明传送,具体功能包括寻址和路由选择、连接的建立、保持和终止等。数据交换技术是报文交换(基本上被分组所替代):采用储存转发方式,数据交换单位是报文。

网络层中涉及众多的协议,其中包括最重要的协议,也是TCP/IP的核心协议——IP协议。IP协议非常简单,仅仅提供不可靠、无连接的传送服务。IP协议的主要功能有:无连接数据报传输、数据报路由选择和差错控制。

与IP协议配套使用实现其功能的还有地址解析协议ARP、逆地址解析协议RARP、因特网报文协议ICMP、因特网组管理协议IGMP。具体的协议我们会在接下来的部分进行总结,有关网络层的重点为:

1、网络层负责对子网间的数据包进行路由选择。此外,网络层还可以实现拥塞控制、网际互连等功能; 2、基本数据单位为IP数据报; 3、包含的主要协议:

  • IP协议(Internet Protocol,因特网互联协议);

  • ICMP协议(Internet Control Message Protocol,因特网控制报文协议);

  • ARP协议(Address Resolution Protocol,地址解析协议);

  • RARP协议(Reverse Address Resolution Protocol,逆地址解析协议)。 4、重要的设备:路由器。

路由器相关协议

4.1. IP协议详解

IP网际协议是 Internet 网络层最核心的协议。虚拟互联网络的产生:实际的计算机网络错综复杂;物理设备通过使用IP协议,屏蔽了物理网络之间的差异;当网络中主机使用IP协议连接时,无需关注网络细节,于是形成了虚拟网络。

IP协议使得复杂的实际网络变为一个虚拟互联的网络;并且解决了在虚拟网络中数据报传输路径的问题。

其中,版本指IP协议的版本,占4位,如IPv4和IPv6;首部位长度表示IP首部长度,占4位,最大数值位15;总长度表示IP数据报总长度,占16位,最大数值位65535;TTL表示IP数据报文在网络中的寿命,占8位;协议表明IP数据所携带的具体数据是什么协议的,如TCP、UDP。

4.2. IP协议的转发流程

4.3. IP地址的子网划分

A类(8网络号+24主机号)、B类(16网络号+16主机号)、C类(24网络号+8主机号)可以用于标识网络中的主机或路由器,D类地址作为组广播地址,E类是地址保留。

4.4. 网络地址转换NAT技术

用于多个主机通过一个公有IP访问访问互联网的私有网络中,减缓了IP地址的消耗,但是增加了网络通信的复杂度。

NAT 工作原理:

从内网出去的IP数据报,将其IP地址替换为NAT服务器拥有的合法的公共IP地址,并将替换关系记录到NAT转换表中;

从公共互联网返回的IP数据报,依据其目的的IP地址检索NAT转换表,并利用检索到的内部私有IP地址替换目的IP地址,然后将IP数据报转发到内部网络。

4.5. ARP协议与RARP协议

地址解析协议 ARP(Address Resolution Protocol):为网卡(网络适配器)的IP地址到对应的硬件地址提供动态映射。可以把网络层32位地址转化为数据链路层MAC48位地址。

ARP 是即插即用的,一个ARP表是自动建立的,不需要系统管理员来配置。

RARP(Reverse Address Resolution Protocol)协议指逆地址解析协议,可以把数据链路层MAC48位地址转化为网络层32位地址。

4.6. ICMP协议详解

网际控制报文协议(Internet Control Message Protocol),可以报告错误信息或者异常情况,ICMP报文封装在IP数据报当中。

ICMP协议的应用:

  • Ping应用:网络故障的排查;

  • Traceroute应用:可以探测IP数据报在网络中走过的路径。

4.7. 网络层的路由概述

关于路由算法的要求:正确的完整的、在计算上应该尽可能是简单的、可以适应网络中的变化、稳定的公平的。

自治系统AS: 指处于一个管理机构下的网络设备群,AS内部网络自治管理,对外提供一个或多个出入口,其中自治系统内部的路由协议为内部网关协议,如RIP、OSPF等;自治系统外部的路由协议为外部网关协议,如BGP。

静态路由: 人工配置,难度和复杂度高;

动态路由:

  • 链路状态路由选择算法LS:向所有隔壁路由发送信息收敛快;全局式路由选择算法,每个路由器计算路由时,需构建整个网络拓扑图;利用Dijkstra算法求源端到目的端网络的最短路径;Dijkstra(迪杰斯特拉)算法

  • 距离-向量路由选择算法DV:向所有隔壁路由发送信息收敛慢、会存在回路;基础是Bellman-Ford方程(简称B-F方程);

4.8. 内部网关路由协议之RIP协议

路由信息协议 RIP(Routing Information Protocol)【应用层】,基于距离-向量的路由选择算法,较小的AS(自治系统),适合小型网络;RIP报文,封装进UDP数据报。

RIP协议特性:

  • RIP在度量路径时采用的是跳数(每个路由器维护自身到其他每个路由器的距离记录);

  • RIP的费用定义在源路由器和目的子网之间;

  • RIP被限制的网络直径不超过15跳;

  • 和隔壁交换所有的信息,30主动一次(广播)。

4.9. 内部网关路由协议之OSPF协议

开放最短路径优先协议 OSPF(Open Shortest Path First)【网络层】,基于链路状态的路由选择算法(即Dijkstra算法),较大规模的AS ,适合大型网络,直接封装在IP数据报传输。

OSPF协议优点:

  • 安全;

  • 支持多条相同费用路径;

  • 支持区别化费用度量;

  • 支持单播路由和多播路由;

  • 分层路由。

RIP与OSPF的对比(路由算法决定其性质):

4.10. 外部网关路由协议之BGP协议

BGP(Border Gateway Protocol)边际网关协议【应用层】:是运行在AS之间的一种协议,寻找一条好路由:首次交换全部信息,以后只交换变化的部分,BGP封装进TCP报文段.

五、传输层

第一个端到端,即主机到主机的层次。传输层负责将上层数据分段并提供端到端的、可靠的或不可靠的传输。此外,传输层还要处理端到端的差错控制和流量控制问题。

传输层的任务是根据通信子网的特性,最佳的利用网络资源,为两个端系统的会话层之间,提供建立、维护和取消传输连接的功能,负责端到端的可靠数据传输。在这一层,信息传送的协议数据单元称为段或报文。

网络层只是根据网络地址将源结点发出的数据包传送到目的结点,而传输层则负责将数据可靠地传送到相应的端口。

有关网络层的重点:

  • 传输层负责将上层数据分段并提供端到端的、可靠的或不可靠的传输以及端到端的差错控制和流量控制问题;

  • 包含的主要协议:TCP协议(Transmission Control Protocol,传输控制协议)、UDP协议(User Datagram Protocol,用户数据报协议);

  • 重要设备:网关。

5.1. UDP协议详解

UDP(User Datagram Protocol: 用户数据报协议),是一个非常简单的协议。

UDP协议的特点:

  • UDP是无连接协议;

  • UDP不能保证可靠的交付数据;

  • UDP是面向报文传输的;

  • UDP没有拥塞控制;

  • UDP首部开销很小、效率高。

UDP数据报结构:

首部:8B,四字段/2B【源端口 | 目的端口 | UDP长度 | 校验和】 数据字段:应用数据

5.2. TCP协议详解

TCP(Transmission Control Protocol,传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议,由RFC 793定义。

TCP协议的功能:

  • 对应用层报文进行分段和重组;

  • 面向应用层实现复用与分解;

  • 实现端到端的流量控制;

  • 拥塞控制;

  • 传输层寻址;

  • 对收到的报文进行差错检测(首部和数据部分都检错);

  • 实现进程间的端到端可靠数据传输控制。

TCP协议的特点:

  • TCP是面向连接的协议;

  • TCP是面向字节流的协议;

  • TCP的一个连接有两端,即点对点通信;

  • TCP提供可靠的传输服务;

  • TCP协议提供全双工通信(每条TCP连接只能一对一);

5.2.1 TCP报文段结构:

最大报文段长度:报文段中封装的应用层数据的最大长度。

TCP首部:

  • 序号字段:TCP的序号是对每个应用层数据的每个字节进行编号

  • 确认序号字段:期望从对方接收数据的字节序号,即该序号对应的字节尚未收到。用ack_seq标识;

  • TCP段的首部长度最短是20B ,最长为60字节。但是长度必须为4B的整数倍

TCP标记的作用:

5.3. 可靠传输的基本原理

基本原理:

  • 不可靠传输信道在数据传输中可能发生的情况:比特差错、乱序、重传、丢失

  • 基于不可靠信道实现可靠数据传输采取的措施:

差错检测:利用编码实现数据包传输过程中的比特差错检测 确认:接收方向发送方反馈接收状态 重传:发送方重新发送接收方没有正确接收的数据 序号:确保数据按序提交 计时器:解决数据丢失问题;

停止等待协议:是最简单的可靠传输协议,但是该协议对信道的利用率不高。

连续ARQ(Automatic Repeat reQuest:自动重传请求)协议:滑动窗口+累计确认,大幅提高了信道的利用率。

5.3.1 TCP协议的可靠传输

基于连续ARQ协议,在某些情况下,重传的效率并不高,会重复传输部分已经成功接收的字节。

5.3.2 TCP协议的流量控制

流量控制:让发送方发送速率不要太快,TCP协议使用滑动窗口实现流量控制。

5.4. TCP协议的拥塞控制

拥塞控制与流量控制的区别:流量控制考虑点对点的通信量的控制,而拥塞控制考虑整个网络,是全局性的考虑。拥塞控制的方法:慢启动算法+拥塞避免算法。

慢开始和拥塞避免:

  • 【慢开始】拥塞窗口从1指数增长;

  • 到达阈值时进入【拥塞避免】,变成+1增长;

  • 【超时】,阈值变为当前cwnd的一半(不能<2);

  • 再从【慢开始】,拥塞窗口从1指数增长。

快重传和快恢复:

  • 发送方连续收到3个冗余ACK,执行【快重传】,不必等计时器超时;

  • 执行【快恢复】,阈值变为当前cwnd的一半(不能<2),并从此新的ssthresh点进入【拥塞避免】。

5.5. TCP连接的三次握手(重要)

TCP三次握手使用指令:

面试常客:为什么需要三次握手?

  • 第一次握手:客户发送请求,此时服务器知道客户能发;

  • 第二次握手:服务器发送确认,此时客户知道服务器能发能收;

  • 第三次握手:客户发送确认,此时服务器知道客户能收。

建立连接(三次握手):

第一次: 客户向服务器发送连接请求段,建立连接请求控制段(SYN=1),表示传输的报文段的第一个数据字节的序列号是x,此序列号代表整个报文段的序号(seq=x);客户端进入 SYN_SEND (同步发送状态);

第二次: 服务器发回确认报文段,同意建立新连接的确认段(SYN=1),确认序号字段有效(ACK=1),服务器告诉客户端报文段序号是y(seq=y),表示服务器已经收到客户端序号为x的报文段,准备接受客户端序列号为x+1的报文段(ack_seq=x+1);服务器由LISTEN进入SYN_RCVD (同步收到状态);

第三次: 客户对服务器的同一连接进行确认.确认序号字段有效(ACK=1),客户此次的报文段的序列号是x+1(seq=x+1),客户期望接受服务器序列号为y+1的报文段(ack_seq=y+1);当客户发送ack时,客户端进入ESTABLISHED 状态;当服务收到客户发送的ack后,也进入ESTABLISHED状态;第三次握手可携带数据;

5.6. TCP连接的四次挥手(重要)

释放连接(四次挥手)

第一次: 客户向服务器发送释放连接报文段,发送端数据发送完毕,请求释放连接(FIN=1),传输的第一个数据字节的序号是x(seq=x);客户端状态由ESTABLISHED进入FIN_WAIT_1(终止等待1状态);

第二次: 服务器向客户发送确认段,确认字号段有效(ACK=1),服务器传输的数据序号是y(seq=y),服务器期望接收客户数据序号为x+1(ack_seq=x+1);服务器状态由ESTABLISHED进入CLOSE_WAIT(关闭等待);客户端收到ACK段后,由FIN_WAIT_1进入FIN_WAIT_2;

第三次: 服务器向客户发送释放连接报文段,请求释放连接(FIN=1),确认字号段有效(ACK=1),表示服务器期望接收客户数据序号为x+1(ack_seq=x+1);表示自己传输的第一个字节序号是y+1(seq=y+1);服务器状态由CLOSE_WAIT 进入 LAST_ACK (最后确认状态);

第四次: 客户向服务器发送确认段,确认字号段有效(ACK=1),表示客户传输的数据序号是x+1(seq=x+1),表示客户期望接收服务器数据序号为y+1+1(ack_seq=y+1+1);客户端状态由FIN_WAIT_2进入TIME_WAIT,等待2MSL时间,进入CLOSED状态;服务器在收到最后一次ACK后,由LAST_ACK进入CLOSED;

为什么需要等待2MSL?

  • 最后一个报文没有确认;

  • 确保发送方的ACK可以到达接收方;

  • 2MSL时间内没有收到,则接收方会重发;

  • 确保当前连接的所有报文都已经过期。

六、应用层

为操作系统或网络应用程序提供访问网络服务的接口。应用层重点:

  • 数据传输基本单位为报文;

  • 包含的主要协议:FTP(文件传送协议)、Telnet(远程登录协议)、DNS(域名解析协议)、SMTP(邮件传送协议),POP3协议(邮局协议),HTTP协议(Hyper Text Transfer Protocol)。

6.1. DNS详解

DNS(Domain Name System:域名系统)【C/S,UDP,端口53】:解决IP地址复杂难以记忆的问题,存储并完成自己所管辖范围内主机的 域名 到 IP 地址的映射。

域名解析的顺序:

  • 【1】浏览器缓存,

  • 【2】找本机的hosts文件,

  • 【3】路由缓存,

  • 【4】找DNS服务器(本地域名、顶级域名、根域名)->迭代解析、递归查询。

IP—>DNS服务—>便于记忆的域名

域名由点、字母和数字组成,分为顶级域(com,cn,net,gov,org)、二级域(baidu,taobao,qq,alibaba)、三级域(www)(12-2-0852)

6.2. DHCP协议详解

动态主机配置协议 (Dynamic Host Configuration Protocol,DHCP) 是一个用于局域网的网络协议,位于OSI模型的应用层,使用UDP协议工作,主要用于自动分配IP地址给用户,方便管理员进行统一管理。

DHCP服务器端使用67/udp,客户端使用68/udp。DHCP运行分为四个基本过程,分别为请求IP租约、提供IP租约、选择IP租约和确认IP租约。客户端在获得了一个IP地址以后,就可以发送一个ARP请求来避免由于DHCP服务器地址池重叠而引发的IP冲突。

DCHP 报文格式

6.3. HTTP协议详解

文件传输协议(FTP):控制连接(端口21):传输控制信息(连接、传输请求),以7位ASCII码的格式。整个会话期间一直打开。

HTTP(HyperText Transfer Protocol:超文本传输协议)【TCP,端口80】:是可靠的数据传输协议,浏览器向服务器发收报文前,先建立TCP连接,HTTP使用TCP连接方式(HTTP自身无连接)。

HTTP请求报文方式:

  • GET:请求指定的页面信息,并返回实体主体;

  • POST:向指定资源提交数据进行处理请求;

  • DELETE:请求服务器删除指定的页面;

  • HEAD:请求读取URL标识的信息的首部,只返回报文头;

  • OPETION:请求一些选项的信息;

  • PUT:在指明的URL下存储一个文档。

6.3.1 HTTP工作的结构

6.3.2 HTTPS协议详解

HTTPS(Secure)是安全的HTTP协议,端口号443。基于HTTP协议,通过SSL或TLS提供加密处理数据、验证对方身份以及数据完整性保护。

七、路由算法

7.1. 简介

路由算法是用于找到一条从源路由器到目的路由器的最佳路径的算法。存在着多种路由算法,每种算法对网络和路由器资源的影响都不同;由于路由算法使用多种度量标准 (metric),所以不同路由算法的最佳路径选择也有所不同。

7.2. 路由选择算法的功能

源/宿对之间的路径选择,以及选定路由之后将报文传送到它们的目的地。

路由选择算法的要求:

  • 正确性:确保分组从源节点传送到目的节点

  • 简单性:实现方便,软硬件开销小

  • 自适应性:也称健壮性,算法能够适应业务量和网络拓扑的变化

  • 稳定性:能长时间无故障运行

  • 公平性:每个节点都有机会传送信息

  • 最优性:尽量选取好的路由

7.3. 自治系统 AS (Autonomous System)

经典定义:

  • 由一个组织管理的一整套路由器和网络。

  • 使用一种AS 内部的路由选择协议和共同的度量以确定分组在该 AS 内的路由。

  • 使用一种 AS 之间的路由选择协议用以确定分组在AS之间的路由。

尽管一个 AS 使用了多种内部路由选择协议和度量,但对其他 AS 表现出的是一个单一的和一致的路由选择策略。

7.4. 两大类路由选择协议

因特网的中,路由协议可以分为内部网关协议 IGP (Interior Gateway Protocol)和外部网关协议 EGP (External Gateway Protocol)。

IGP是在一个AS内部使用的路由选择协议,如RIP和OSPF协议,是域内路由选择 (interdomain routing)。当源主机和目的主机处在不同的AS中,在数据报到达AS的边界时,使用外部网关协议 EGP 将路由选择信息传递到另一个自治系统中,如BGP-4,是域间路由选择 (intradomain routing)。

7.5. RIP

路由信息协议 (Routing Information Protocol, RIP) 是一种基于距离 向量的路由选择协议。RIP 协议要求网络中的每一个路由器都要维护从它自己到自治系统内其他每一个目的网络的距离和下一跳路由器地址。

7.6. OSPF

开放最短路径优先(Open Shortest Path First,OSPF),这个算法名为“最短路径优先”是因为使用了 Dijkstra 提出的最短路径算法SPF,只是一个协议的名字,它并不表示其他的路由选择协议不是“最短路径优先”。

八、域名系统

8.1 简介

DNS 是一个简单的请求-响应协议,是将域名和 IP 地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。 DNS 使用 TCP 和 UDP 协议的 53 端口。

8.2 请求响应

DNS 记录

• A

- 返回域名对应的 IPv4 地址

• AAAA

• NS

- 域名服务器

- 返回该域名由哪台域名服务器解析

• PTR

- 反向记录

- 从 IP 地址到域名的记录

• MX

- 电子邮件交换记录

- 记录邮件域名对应的 IP 地址

响应码

• NOERROR

No error condition

• FORMERR

Format error - The name server was unable to interpret the query

• SERVFAIL

Server failure - The name server was unable to process this query due to a problem with␣ <→the name server

• NXDOMAIN

this code signifies that the domain name referenced in the query does not exist

• NOTIMP

Not Implemented - The name server does not support the requested kind of query

• REFUSED

Refused - The name server refuses to perform the specified operation for policy reasons

• NODATA

A pseudo RCODE which indicates that the name is valid, for the given class, but [there]␣ <→are no records of the given type A NODATA response has to be inferred from the answer .

8.3 域名系统工作原理

解析过程

DNS 解析过程是递归查询的,具体过程如下:

• 用户要访问域名 www.example.com 时,先查看本机 hosts 是否有记录或者本机是否有 DNS 缓存,如果有,直接返回结果,否则向递归服务器查询该域名的 IP 地址

• 递归缓存为空时,首先向根服务器查询 com 顶级域的 IP 地址

• 根服务器告知递归服务器 com 顶级域名服务器的 IP 地址

• 递归向 com 顶级域名服务器查询负责 example.com 的权威服务器的 IP

• com 顶级域名服务器返回相应的 IP 地址

• 递归向 example.com 的权威服务器查询 www.example.com 的地址记录

• 权威服务器告知 www.example.com 的地址记录

• 递归服务器将查询结果返回客户端

域传送

DNS 服务器可以分为主服务器、备份服务器和缓存服务器。域传送是指备份服务器从主服务器拷贝数据, 并使用得到的数据更新自身数据库。域传送是在主备服务器之间同步数据库的机制。

8.4 服务器类型

根服务器

根服务器是 DNS 的核心,负责互联网顶级域名的解析,用于维护域的权威信息,并将 DNS 查询引导到相应的域名服务器。

根服务器在域名树中代表最顶级的 . 域,一般省略。

13 台 IPv4 根服务器的域名标号为 a 到 m,即 a.root-servers.org 到 m.root-servers.org,所有服务器存储的数据相同,仅包含 ICANN 批准的 TLD 域名权威信息。

权威服务器

权威服务器上存储域名 Zone 文件,维护域内域名的权威信息,递归服务器可以从权威服务器获得 DNS 查询的资源记录。

权威服务器需要在所承载的域名所属的 TLD 管理局注册, 同一个权威服务器可以承载不同 TLD 域名, 同一个域也可以有多个权威服务器。

递归服务器

递归服务器负责接收用户的查询请求, 进行递归查询并响应用户查询请求。在初始时递归服务器仅有记录了根域名的 Hint 文件。

8.5 加密方案

作为主流的防御方案, DNS 加密有五种方案, 分别是 DNS-over-TLS (DoT) 、DNS-over-DTLS 、DNS-over- HTTPS (DoH)、DNS-over-QUIC 以及 DNSCrypt。

DoT

DoT 方案在 2016 年发表于 RFC7858,使用 853 端口。主要思想是 Client 和 Server 通过 TCP 协议建立TLS 会话后再进行 DNS 传输,Client 通过 SSL 证书验证服务器身份。

DNS-over-DTLS

DNS-over-DTLS 和 DoT 类似,区别在于使用 UDP 协议而不是 TCP 协议。

DoH

DoH 方案在发表 RFC8484,使用 https://dns.example.com/dns-query{?dns} 来查询服务器的 IP,复用https 的 443 端口,流量特征比较小。DoH 会对 DNS 服务器进行加密认证,不提供 fallback 选项。目前Cloudflare 、Google 等服务商对 DoH 提供了支持。

DNS-over-QUIC

DNS-over-QUIC 安全特性和 DoT 类似,但是性能更高,目前没有合适的软件实现。

DNSCrypt

DNSCrypt 使用 X25519-XSalsa20Poly1305 而非标准的 TLS,且 DNSCrypt 的 Client 需要额外的软件, Server 需要的专门的证书。

8.6 DNS 利用

DGA

DGA(Domain Generate Algorithm,域名生成算法)是一种利用随机字符来生成 C&C 域名,从而逃避域名黑名单检测的技术手段,常见于 botnet 中。一般来说, 一个 DGA 域名的存活时间约在 1-7 天左右。

通信时,客户端和服务端都运行同一套 DGA 算法,生成相同的备选域名列表,当需要发动攻击的时候,选择其中少量进行注册, 便可以建立通信, 并且可以对注册的域名应用速变 IP 技术,快速变换 IP,从而域名和 IP 都可以进行快速变化。

DGA 域名有多种生成方式,根据种子类型可以分为确定性和不确定性的生成。不确定性的种子可能会选用当天的一些即时数据,如汇率信息等。

DNS 隧道

DNS 隧道工具将进入隧道的其他协议流量封装到 DNS 协议内,在隧道上传输。这些数据包出隧道时进行解封装,还原数据。

8.7 RDAP

RDAP (Registration Data Access Protocol) 协议是 Whois 协议的后继,和 Whois 协议类似,RDAP 协议提供了域名、自治系统、 IP 地址的信息查询。

8.8 相关漏洞

DNS 劫持

DNS 劫持有多种方式, 比较早期的攻击方式是通过攻击域名解析服务器, 或是伪造 DNS 响应的方法,来将域名解析到恶意的 IP 地址。

随着互联网应用的不断发展, 出现了基于废弃记录的劫持方式。这种方式发生的场景是次级域名的解析记录指向第三方资源, 而第三方资源被释放后, 解析记录并没有取消, 在这种场景下, 可以对应申请第三方资源,以获取控制解析记录的能力。

拒绝服务

DNS 服务通常会开启 UDP 端口,当 DNS 服务器拥有大量二级域 NS 记录时,通过 DNS 的 UDP 反射攻击可以实现高倍的拒绝服务。

8.9 相关机构

ICANN

互联网名称与数字地址分配机构 (Internet Corporation for Assigned Names and Numbers, ICANN) 创建于1998 年 9 月 18 日,职能包括管理域名和 IP 地址的分配等与互联网相关的任务。

IANA

互联网号码分配局 (Internet Assigned Numbers Authority, IANA) ,是一家互联网地址指派机构, 管理国际互联网中使用的 IP 地址、域名和许多其它参数的机构。

8.10 术语

mDNS

Multicast DNS (mDNS),多播 DNS,使用 5353 端口,组播地址为 224.0.0.251 或 [FF02::FB] 。在一个没有常规 DNS 服务器的小型网络内可以使用 mDNS 来实现类似 DNS 的编程接口、包格式和操作语义。 mDNS 协议的报文与 DNS 的报文结构相同,但有些字段对于 mDNS 来说有新的含义。

启动 mDNS 的主机会在进入局域网后向所有主机组播消息,包含主机名、IP 等信息,其他拥有相应服务的主机也会响应含有主机名和 IP 的信息。

mDNS 的域名是用 .local 和普通域名区分开的。

FQDN

FQDN (Fully-Qualified Domain Name) 是域名的完全形态,主要是包含零长度的根标签,例如 www.example.

com. 。

TLD

Top-Level Domain (TLD) 是属于根域的一个域,例如 com 或 jp 。

TLD 一般可以分为 Country Code Top-Level Domains (ccTLDs) 、Generic Top-Level Domains (gTLDs) 以及其它。

IDN

Internationalized Domain Names for Applications (IDNA) 是为了处理非 ASCII 字符的情况。

CNAME

CNAME 即 Canonical name,又称 alias,将域名指向另一个域名。

TTL

Time To Live,无符号整数,记录 DNS 记录过期的时间,最小是 0,最大是 2147483647 (2^31 - 1)。

九、HTTP 协议簇

9.1 HTTP 标准

报文格式

请求报文格式

<method><request-URL><version>

<headers>

<entity-body>

响应报文格式

<version><status><reason-phrase>

<headers>

<entity-body>

字段解释

• method

- HTTP 动词

- 常见方法: HEAD / GET / POST / PUT / DELETE / PATCH / OPTIONS / TRACE

- 扩展方法: LOCK / MKCOL / COPY / MOVE

• version

- 报文使用的 HTTP 版本

- 格式为 HTTP/<major>.<minor>

• url

- <scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>

请求头列表

• Accept

- 指定客户端能够接收的内容类型

- Accept: text/plain, text/html

• Accept-Charset

- 浏览器可以接受的字符编码集

- Accept-Charset: iso-8859-5

• Accept-Encoding

- 指定浏览器可以支持的 web 服务器返回内容压缩编码类型

- Accept-Encoding: compress, gzip

• Accept-Language

- 浏览器可接受的语言

- Accept-Language: en,zh

• Accept-Ranges

- 可以请求网页实体的一个或者多个子范围字段

- Accept-Ranges: bytes

• Authorization

- HTTP 授权的授权证书

- Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==

• Cache-Control

- 指定请求和响应遵循的缓存机制 Cache-Control: no-cache

• Connection

- 表示是否需要持久连接 // HTTP1.1 默认进行持久连接

- Connection: close

• Cookie

- HTTP 请求发送时,会把保存在该请求域名下的所有 cookie 值一起发送给 web 服务器

- Cookie: role=admin;ssid=1

• Content-Length

- 请求的内容长度

- Content-Length: 348

• Content-Type

- 请求的与实体对应的 MIME 信息

- Content-Type: application/x-www-form-urlencoded

• Date

- 请求发送的日期和时间

- Date: Tue, 15 Nov 2010 08:12:31 GMT

• Expect

- 请求的特定的服务器行为

- Expect: 100-continue

• From

- 发出请求的用户的 Email

- From: user@email.com

• Host

— 指定请求的服务器的域名和端口号

— Host: www.github.com

• If-Match

— 只有请求内容与实体相匹配才有效

— If-Match: ”737060cd8c284d8af7ad3082f209582d”

• If-Modified-Since

— 如果请求的部分在指定时间之后被修改则请求成功,未被修改则返回 304 代码

— If-Modified-Since: Sat, 29 Oct 2018 19:43:31 GMT

• If-None-Match

— 如果内容未改变返回 304 代码,参数为服务器先前发送的 Etag,与服务器回应的 Etag 比较判断是否改变

— If-None-Match: ”737060cd8c284d8af7ad3082f209582d”

• If-Range

— 如果实体未改变,服务器发送客户端丢失的部分,否则发送整个实体。参数也为 Etag

— If-Range: ”737060cd8c284d8af7ad3082f209582d”

• If-Unmodified-Since

— 只在实体在指定时间之后未被修改才请求成功

— If-Unmodified-Since: Sat, 29 Oct 2010 19:43:31 GMT

• Max-Forwards

— 限制信息通过代理和网关传送的时间

— Max-Forwards: 10

• Pragma

— 用来包含实现特定的指令

— Pragma: no-cache

• Proxy-Authorization

— 连接到代理的授权证书

— Proxy-Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==

• Range

— 只请求实体的一部分,指定范围

— Range: bytes=500-999

• Referer

— 先前网页的地址,当前请求网页紧随其后, 即来路

— Referer:

• TE

— 客户端愿意接受的传输编码,并通知服务器接受接受尾加头信息

— TE: trailers,deflate;q=0.5

• Upgrade

— 向服务器指定某种传输协议以便服务器进行转换(如果支持)

— Upgrade: HTTP/2.0, SHTTP/1.3,IRC/6.9,RTA/x11

• User-Agent

— User-Agent 的内容包含发出请求的用户信息

— User-Agent: Mozilla/5.0 (Linux; X11)

• Via

— 通知中间网关或代理服务器地址,通信协议

— Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)

• Warning

— 关于消息实体的警告信息

— Warn: 199 Miscellaneous warning

响应头列表

• Accept-Ranges

— 表明服务器是否支持指定范围请求及哪种类型的分段请求

— Accept-Ranges: bytes

• Access-Control-Allow-Origin

— 配置有权限访问资源的域

— Access-Control-Allow-Origin: <origin>|*

• Age

— 从原始服务器到代理缓存形成的估算时间(以秒计,非负)

— Age: 12

• Allow

— 对某网络资源的有效的请求行为,不允许则返回 405

— Allow: GET, HEAD

• Cache-Control

— 告诉所有的缓存机制是否可以缓存及哪种类型

— Cache-Control: no-cache

• Content-Encoding

— web 服务器支持的返回内容压缩编码类型。

— Content-Encoding: gzip

• Content-Language

— 响应体的语言

— Content-Language: en,zh

• Content-Length

— 响应体的长度

— Content-Length: 348

• Content-Location

— 请求资源可替代的备用的另一地址

— Content-Location: /index.htm

• Content-MD5

— 返回资源的 MD5 校验值

— Content-MD5: Q2hlY2sgSW50ZWdyaXR5IQ== • Content-Range

— 在整个返回体中本部分的字节位置

— Content-Range: bytes 21010-47021/47022

• Content-Type

— 返回内容的 MIME 类型

— Content-Type: text/html; charset=utf-8

• Date

— 原始服务器消息发出的时间

— Date: Tue, 15 Nov 2010 08:12:31 GMT

• ETag

— 请求变量的实体标签的当前值

— ETag: ”737060cd8c284d8af7ad3082f209582d”

• Expires

— 响应过期的日期和时间

— Expires: Thu, 01 Dec 2010 16:00:00 GMT

• Last-Modified

— 请求资源的最后修改时间

— Last-Modified: Tue, 15 Nov 2010 12:45:26 GMT

• Location

— 用来重定向接收方到非请求 URL 的位置来完成请求或标识新的资源

— Location:

• Pragma

— 包括实现特定的指令,它可应用到响应链上的任何接收方

— Pragma: no-cache

• Proxy-Authenticate

— 它指出认证方案和可应用到代理的该 URL 上的参数

— Proxy-Authenticate: Basic

• Refresh

— 应用于重定向或一个新的资源被创造,在 5 秒之后重定向(由网景提出,被大部分浏览器支持)

— Refresh: 5; url=

• Retry-After

— 如果实体暂时不可取,通知客户端在指定时间之后再次尝试

— Retry-After: 120

• Server

— web 服务器软件名称

— Server: Apache/1.3.27 (Unix) (Red-Hat/Linux)

• Set-Cookie

— 设置 HttpCookieSet-Cookie:UserID=JohnDoe; Max-Age=3600; Version=1

• Strict-Transport-Security

— 设置浏览器强制使用 HTTPS 访问

— max-age: x 秒的时间内访问对应域名都使用 HTTPS 请求

— includeSubDomains: 网站的子域名也启用规则

— Strict-Transport-Security: max-age=1000; includeSubDomains

• Trailer

— 指出头域在分块传输编码的尾部存在 Trailer: Max-Forwards

• Transfer-Encoding

— 文件传输编码

— Transfer-Encoding:chunked

• Vary

— 告诉下游代理是使用缓存响应还是从原始服务器请求

— Vary: *

• Via

— 告知代理客户端响应是通过哪里发送的

— Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)

• Warning

— 警告实体可能存在的问题

— Warning: 199 Miscellaneous warning

• WWW-Authenticate

— 表明客户端请求实体应该使用的授权方案

— WWW-Authenticate: Basic

• X-Content-Type-Options

— 配置禁止 MIME 类型嗅探

— X-Content-Type-Options: nosniff

• X-Frame-Options

— 配置页面是否能出现在 <frame>, <iframe>, <embed>, <object> 等标签中, 防止点击劫持

— X-Frame-Options: deny

• X-XSS-Protection

— 配置 XSS 防护机制

— X-XSS-Protection: 1; mode=block

HTTP 状态返回代码 1xx(临时响应)

表示临时响应并需要请求者继续执行操作的状态代码。

Code

代码

说明

100

继续

服务器返回此代码表示已收到请求的第一部分,正在等待其余部分

101

切换协议

请求者已要求服务器切换协议,服务器已确认并准备切换

HTTP 状态返回代码 2xx (成功)

表示成功处理了请求的状态代码。

Code

代码

说明

200

成功

服务器已成功处理了请求。通常,这表示服务器提供了请求的网页

201

已创建

请求成功并且服务器创建了新的资源

202

已接受

服务器已接受请求,但尚未处理

203

非授权信息

服务器已成功处理了请求,但返回的信息可能来自另一来源

204

无内容

服务器成功处理了请求,但没有返回任何内容

205

重置内容

m 服务器成功处理了请求,但没有返回任何内容

206

部分内容

服务器成功处理了部分 GET 请求

HTTP 状态返回代码 3xx (重定向)

表示要完成请求,需要进一步操作。通常,这些状态代码用来重定向。

Code

代码

说明

300

多种选择

针对请求,服务器可执行多种操作。服务器可根据请求者 (user agent) 选择一项操作,或提供操作列表供请求者选择。

301

永久移动

请求的网页已永久移动到新位置。服务器返回此响应(对 GET 或 HEAD 请求的响应)时,会自动将请求者转到新位置。

302

临时移动

服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。

303

查看其他位置

请求者应当对不同的位置使用单独的 GET 请求来检索响应时,服务器返回此代码。

304

未修改

自从上次请求后,请求的网页未修改过。服务器返回此响应时,不会返回网页内容。

305

使用代理

请求者只能使用代理访问请求的网页。如果服务器返回此响应,还表示请求者应使用代理。

307

临时重定向

服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。

HTTP 状态返回代码 4xx(请求错误)

这些状态代码表示请求可能出错,妨碍了服务器的处理。

Code

代码

说明

400

错误请求

服务器不理解请求的语法。

401

未授权

请求要求身份验证。对于需要登录的网页,服务器可能返回此响应。

403

禁止

服务器拒绝请求。

404

未找到

服务器找不到请求的网页。

405

方法禁用

禁用请求中指定的方法。

406

不接受

无法使用请求的内容特性响应请求的网页。

407

需要代理授权

此状态代码与 401 (未授权)类似,但指定请求者应当授权使用代理。

408

请求超时

服务器等候请求时发生超时。

409

冲突

服务器在完成请求时发生冲突。服务器必须在响应中包含有关冲突的信息。

410

已删除

如果请求的资源已永久删除,服务器就会返回此响应。

411

需要有效长度

服务器不接受不含有效内容长度标头字段的请求。

412

未满足前提条件

服务器未满足请求者在请求中设置的其中一个前提条件。

413

请求实体过大

服务器无法处理请求,因为请求实体过大,超出服务器的处理能力。

414

请求的 URI 过长

请求的 URI (通常为网址)过长,服务器无法处理。

415

不支持的媒体类型

请求的格式不受请求页面的支持。

416

请求范围不符合要求

如果页面无法提供请求的范围,则服务器会返回此状态代码。

417

未满足期望值

服务器未满足” 期望” 请求标头字段的要求。

HTTP 状态返回代码 5xx(服务器错误)

这些状态代码表示服务器在尝试处理请求时发生内部错误。这些错误可能是服务器本身的错误, 而不是请求出错。

Code

代码

说明

500

服务器内部错误

服务器遇到错误,无法完成请求。

501

尚未实施

服务器不具备完成请求的功能。例如,服务器无法识别请求方法时可能会返回此代码。

502

错误网关

服务器作为网关或代理,从上游服务器收到无效响应。

503

服务不可用

服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。

504

网关超时

服务器作为网关或代理,但是没有及时从上游服务器收到请求。

505

HTTP 版本不受支持

服务器不支持请求中所用的 HTTP 协议版本。

9.2 HTTP 版本

HTTP

HTTP 是基于 TCP/IP 协议的应用层协议, 主要规定了客户端和服务器之间的通信格式, 默认使用 80 端口。

HTTP0.9

HTTP0.9 最早在 1991 年发布,仅支持 GET 命令,请求格式只有简单的 GET /url ,服务端仅响应 HTML,响应完毕后关闭 TCP 连接。

HTTP1.0

1996 年 5 月,HTTP/1.0 版本发布, 丰富了传输的格式和内容, 还引入了 POST、HEAD 两个动词。从 1.0开始,必须在尾部添加协议版本。在 1.0 中,也引入了状态码 (status code)、多字符集支持、多部分发送(multi-part type)、权限 (authorization)、缓存 (cache)、内容编码 (content encoding) 等内容。

HTTP1.0 版的主要缺点是,每个 TCP 连接只能发送一个请求。发送数据完毕,连接就关闭,如果还要请求其他资源,就必须再新建一个连接。

TCP 连接的新建成本很高, 因为需要客户端和服务器三次握手,并且开始时发送速率较慢 (slow start),所以,HTTP1.0 版本的性能比较差。

HTTP1.1

1997 年 1 月,HTTP/1.1 版本发布,进一步完善了 HTTP 协议。1.1 版本主要是引入了持久连接、管道机制、Content-Length、分块传输编码等内容。管道机制即在同一个 TCP 连接里面,客户端可以同时发送多个请求,这样就改进了 HTTP 协议的效率。 PUT、PATCH、HEAD、OPTIONS、DELETE 等动词方法也是在 HTTP1.1 版本引入的。另外 1.1 版本新增了 Host 字段,用于指定服务器的域名,这也是后来虚拟主机得以发展的基础。

虽然 1.1 版允许复用 TCP 连接,但是同一个 TCP 连接里面,所有的数据通信是按次序进行的。服务器只有处理完一个回应,才会进行下一个回应。如果有一个请求很慢,就会阻塞后面的请求。

SPDY

2009 年,谷歌公开了自行研发的 SPDY 协议,用于解决 HTTP/1.1 效率不高的问题, 而后被当做 HTTP/2的基础。

HTTP/2

2015 年,HTTP/2 发布,HTTP/2 是一个二进制协议, 头信息和数据体都是二进制, 统称为帧 (frame),帧分为头信息帧和数据帧。 HTTP/2 复用 TCP 连接,在一个连接里, 客户端和浏览器都可以同时发送多个请

求或回应,而且不用按照顺序回应。

9.3 HTTPS

简介

HTTPS (HyperText Transfer Protocol over Secure Socket Layer) 可以理解为 HTTP+SSL/TLS,即 HTTP下加入 SSL 层,HTTPS 的安全基础是 SSL。

交互

证书验证阶段

• 浏览器发起 HTTPS 请求

• 服务端返回 HTTPS 证书

— 其中证书包含:

* 颁发机构信息

* 公钥

* 公司信息

* 域名

* 有效期

* 指纹

• 客户端验证证书是否合法,如果不合法则提示告警

数据传输阶段

• 当证书验证合法后,在本地生成随机数

• 通过公钥加密随机数,并把加密后的随机数传输到服务端

• 服务端通过私钥对随机数进行解密

• 服务端通过客户端传入的随机数构造对称加密算法,对返回结果内容进行加密后传输

CA

CA (Certificate Authority) 是颁发数字证书的机构。是负责发放和管理数字证书的权威机构, 并作为电子商务交易中受信任的第三方,承担公钥体系中公钥的合法性检验的责任。

9.4 WebSocket

简介

WebSocket 是一种网络传输协议,可在单个 TCP 连接上进行全双工通信,位于 OSI 模型的应用层。Web- Socket 协议在 2011 年由 IETF 标准化为 RFC 6455,后由 RFC 7936 补充规范。

交互

握手

握手阶段和 HTTP 协议较为类似, RFC 文档中给出的握手示例如下:

GET /chat HTTP/1.1

Host: server.example.com

Upgrade: websocket

Connection: Upgrade

Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ==

Origin: Example Domain

Sec-WebSocket-Protocol: chat, superchat

Sec-WebSocket-Version: 13

HTTP/1.1101SwitchingProtocols Upgrade: websocket

Connection: Upgrade

Sec-WebSocket-Accept: s3pPLMBiTxaQ9kYGzzhZRbK+xOo=

其中 Upgrade 的值必须为 websocket ,Connection 的值必须为 Upgrade ,合起来表示客户端喜欢连接升级到 Websocket 协议。

Sec-WebSocket-Key 是 一 个 随 机 值,Sec-WebSocket-Accept 是 Sec-WebSocket-

Key 拼 接 特 定 字 符 串 258EAFA5-E914-47DA-95CA-C5AB0DC85B11 计 算 SHA1

摘 要 后 的 Base64 编 码 的 值。 例 子 中 s3pPLMBiTxaQ9kYGzzhZRbK+xOo= 就 是dGhlIHNhbXBsZSBub25jZQ==258EAFA5-E914-47DA-95CA-C5AB0DC85B11 对应的 SHA1 摘要。

9.5 Cookie

简介

Cookie(复数形态 Cookies), 类型为「小型文本文件」, 指某些网站为了辨别用户身份而储存在用户本地终端上的数据。

属性

name

cookie 的名称。

value

cookie 的值。

expires

当 Expires 属性缺省时,表示是会话性 Cookie,在用户关闭浏览器时失效。

max-age

max-age 可以为正数、负数、 0。如果 max-age 属性为正数时, 浏览器会将其持久化, 当 max-age 属性为负数,则表示该 Cookie 只是一个会话性 Cookie。当 max-age 为 0 时,则会立即删除这个 Cookie 。Expires 和max-age 都存在的条件下, max-age 优先级更高。

domain

指定 Cookie 的域名, 默认是当前域名。domain 设置时可以设置为自身及其父域, 子域可以访问父域的Cookie,反之不能。

path

指定一个 URL 路径,这个路径必须出现在要请求的资源的路径中才可以发送对应的 Cookie。

secure

只能通过 HTTPS 传输。

httponly

限制 Cookie 仅在 HTTP 传输过程中被读取, 一定程度上防御 XSS 攻击。

SameSite

SameSite 支持 Strict / Lax / None 三种值。Strict 最为严格,完全禁止第三方 Cookie,跨站点时,任何情况下都不会发送 Cookie。Lax 允许部分第三方请求携带 Cookie,主要是链接、预加载、 GET 表单三种情况。 Cookie 的 SameSite 属性为 None ,且设置了 Secure 时,无论是否跨站都会发送 Cookie。

9.6 WebDAV

简介

WebDAV (Web-based Distributed Authoring and Versioning)一种基于 HTTP1.1 协议的通信协议。它扩展了 HTTP1.1 ,在 GET、POST、HEAD 等几个 HTTP 标准方法以外添加了一些新的方法,使应用程序可对 Web Server 直接读写,并支持写文件锁定、解锁,以及版本控制等功能。

支持的方法具体为:

• OPTIONS

– 获取服务器的支持

• GET / PUT / POST / DELETE

– 资源操作

• TRACE

– 跟踪服务器

• HEAD

• MKCOL

– 创建集合

• PROPFIND / PROPPATCH

• COPY / MOVE

• LOCK / UNLOCK

相关 CVE

• CVE-2015-1833

– Apache Jacrabbit WebDav XXE

– http://www.securityfocus.com/archive/1/535582

• CVE-2015-7326

– Milton WebDav XXE

— http://www.securityfocus.com/archive/1/536813

十、SSH

10.1 相关 CVE

CVE-2018-15473

CVE-2018-15473 允许客户端通过遍历的方式获取服务端存在的用户名, 该漏洞影响 OpenSSH <= 7.7 的版本。

CVE-2016-20012

CVE-2016-20012 允许客户端在只知道公钥信息的情况下通过 SSH__MSG__USERAUTH__REQUEST 遍历客户端是否可以通过某个 < 用户, 公钥 > 对登录。

由于 OpenSSH 的开发者认为修改相关的认证方式会需要需要增加 client 读取私钥的频度, 因此没有对应进行修复。

相关的讨论可以参考这个 PR 。

十一、邮件协议族

11.1. 简介

11.1.1. SMTP

SMTP (Simple Mail Transfer Protocol) 是一种电子邮件传输的协议,是一组用于从源地址到目的地址传输邮件的规范。不启用SSL时端口号为25,启用SSL时端口号多为465或994。

11.1.2. POP3

POP3 (Post Office Protocol 3) 用于支持使用客户端远程管理在服务器上的电子邮件。不启用SSL时端口号为110,启用SSL时端口号多为995。

11.1.3. IMAP

IMAP (Internet Mail Access Protocol),即交互式邮件存取协议,它是跟POP3类似邮件访问标准协议之一。不同的是,开启了IMAP后,您在电子邮件客户端收取的邮件仍然保留在服务器上,同时在客户端上的操作都会反馈到服务器上,如:删除邮件,标记已读等,服务器上的邮件也会做相应的动作。不启用SSL时端口号为143,启用SSL时端口号多为993。

11.2. 防护策略

11.2.1. SPF

发件人策略框架 (Sender Policy Framework, SPF) 是一套电子邮件认证机制,用于确认电子邮件是否由网域授权的邮件服务器寄出,防止有人伪冒身份网络钓鱼或寄出垃圾邮件。SPF允许管理员设定一个DNS TXT记录或SPF记录设定发送邮件服务器的IP范围,如有任何邮件并非从上述指明授权的IP地址寄出,则很可能该邮件并非确实由真正的寄件者寄出。

11.2.2. DKIM

域名密钥识别邮件 (DomainKeys Identified Mail, DKIM) 是一种检测电子邮件发件人地址伪造的方法。发送方会在邮件的头中插入DKIM-Signature,收件方通过查询DNS记录中的公钥来验证发件人的信息。

11.2.3. DMARC

基于网域的消息认证、报告和一致性 (Domain-based Message Authentication, Reporting and Conformance, DMARC) 是电子邮件身份验证协议,用于解决在邮件栏中显示的域名和验证的域名不一致的问题。要通过 DMARC 检查,必须通过 SPF 或/和 DKIM 的身份验证,且需要标头地址中的域名必须与经过身份验证的域名一致。

十二、SSL/TLS

12.1. 简介

SSL全称是Secure Sockets Layer,安全套接字层,它是由网景公司(Netscape)在1994年时设计,主要用于Web的安全传输协议,目的是为网络通信提供机密性、认证性及数据完整性保障。如今,SSL已经成为互联网保密通信的工业标准。

SSL最初的几个版本(SSL 1.0、SSL2.0、SSL 3.0)由网景公司设计和维护,从3.1版本开始,SSL协议由因特网工程任务小组(IETF)正式接管,并更名为TLS(Transport Layer Security),发展至今已有TLS 1.0、TLS1.1、TLS1.2、TLS1.3这几个版本。

如TLS名字所说,SSL/TLS协议仅保障传输层安全。同时,由于协议自身特性(数字证书机制),SSL/TLS不能被用于保护多跳(multi-hop)端到端通信,而只能保护点到点通信。

SSL/TLS协议能够提供的安全目标主要包括如下几个:

  • 认证性

    • 借助数字证书认证服务端端和客户端身份,防止身份伪造

  • 机密性

    • 借助加密防止第三方窃听

  • 完整性

    • 借助消息认证码(MAC)保障数据完整性,防止消息篡改

  • 重放保护

    • 通过使用隐式序列号防止重放攻击

为了实现这些安全目标,SSL/TLS协议被设计为一个两阶段协议,分为握手阶段和应用阶段:

握手阶段也称协商阶段,在这一阶段,客户端和服务端端会认证对方身份(依赖于PKI体系,利用数字证书进行身份认证),并协商通信中使用的安全参数、密码套件以及MasterSecret。后续通信使用的所有密钥都是通过MasterSecret生成。 在握手阶段完成后,进入应用阶段。在应用阶段通信双方使用握手阶段协商好的密钥进行安全通信。

12.2. 协议

TLS 包含几个子协议,比较常用的有记录协议、警报协议、握手协议、变更密码规范协议等。

12.2.1. 记录协议

记录协议(Record Protocol)规定了 TLS 收发数据的基本单位记录(record)。

12.2.2. 警报协议

警报协议(Alert Protocol)用于提示协议交互过程出现错误。

12.2.3. 握手协议

握手协议(Handshake Protocol)是 TLS 里最复杂的子协议,在握手过程中协商 TLS 版本号、随机数、密码套件等信息,然后交换证书和密钥参数,最终双方协商得到会话密钥,用于后续的混合加密系统。

12.2.4. 变更密码规范协议

变更密码规范协议(Change Cipher Spec Protocol)是一个“通知”,告诉对方,后续的数据都将使用加密保护。

12.3. 交互过程

12.3.1. Client Hello

Client Hello 由客户端发送,内容包括客户端的一个Unix时间戳(GMT Unix Time)、一些随机的字节(Random Bytes),还包括了客户端接受的算法类型(Cipher Suites)。

12.3.2. Server Hello

Server Hello 由服务端发送,内容包括服务端支持的算法类型、GMT Unix Time以及Random Bytes。

12.3.3. Certificate

由服务端或者客户端发送,发送方会会将自己的数字证书发送给接收方,由接收方进行证书验证,如果不通过的话,接收方会中断握手的过程。一般跟在Client / Server Hello报文之后。

12.3.4. Server Key Exchange

由服务端发送,将自己的公钥参数传输给了客户端,一般也和Server Hello与Certificate在一个TCP报文中。

12.3.5. Server Hello Done

服务端发送,一般也和Server Hello、Certificate和Server Key Exchange在一个TCP报文中。

12.3.6. Client Key Exchange

客户端发送,向服务端发送自己的公钥参数,与服务端协商密钥。

12.3.7. Change Cipher Spec

客户端或者服务端发送,紧跟着Key Exchange发送,代表自己生成了新的密钥,通知对方以后将更换密钥,使用新的密钥进行通信。

12.3.8. Encrypted Handshake Message

客户端或者服务端发送,紧跟着Key Exchange发送。进行测试,一方用自己的刚刚生成的密钥加密一段固定的消息发送给对方,如果密钥协商正确无误的话,对方可以正确解密。

12.3.9. New Session Ticket

服务端发送,表示发起会话,在一段时间之内(超时时间到来之前),双方都以刚刚交换的密钥进行通信。从这以后,加密通信正式开始。

12.3.10. Application Data

使用密钥交换协议协商出来的密钥加密的应用层的数据。

12.3.11. Encrypted Alert

客户端或服务端发送,意味着加密通信因为某些原因需要中断,警告对方不要再发送敏感的数据。

12.4. 版本更新内容

12.4.1. TLS 1.3

  • 引入了PSK作为新的密钥协商机制

  • 支持 0-RTT 模式,以安全性降低为代价,在建立连接时节省了往返时间

  • ServerHello 之后的所有握手消息采取了加密操作,可见明文减少

  • 不再允许对加密报文进行压缩、不再允许双方发起重协商

  • DSA 证书不再允许在 TLS 1.3 中使用

  • 删除不安全的密码算法

    • RSA 密钥传输 - 不支持前向安全性

    • CBC 模式密码 - 易受 BEAST 和 Lucky 13 攻击

    • RC4 流密码 - 在 HTTPS 中使用并不安全

    • SHA-1 哈希函数 - 建议以 SHA-2 取而代之

    • 任意 Diffie-Hellman 组- CVE-2016-0701 漏洞

    • 输出密码 - 易受 FREAK 和 LogJam 攻击

12.5. 子协议

SSL/TLS协议有一个高度模块化的架构,分为很多子协议,主要是:

  • Handshake 协议

    • 包括协商安全参数和密码套件、服务端身份认证(客户端身份认证可选)、密钥交换

  • ChangeCipherSpec 协议

    • 一条消息表明握手协议已经完成

  • Alert 协议

    • 对握手协议中一些异常的错误提醒,分为fatal和warning两个级别,fatal类型的错误会直接中断SSL链接,而warning级别的错误SSL链接仍可继续,只是会给出错误警告

  • Record 协议

    • 包括对消息的分段、压缩、消息认证和完整性保护、加密等

十三、IPsec

13.1. 简介

IPsec(IP Security)是IETF制定的三层隧道加密协议,它为Internet上传输的数据提供了高质量的、可互操作的、基于密码学的安全保证。特定的通信方之间在IP层通过加密与数据源认证等方式,提供了以下的安全服务:

  • 数据机密性(Confidentiality)

    • IPsec发送方在通过网络传输包前对包进行加密。

  • 数据完整性(Data Integrity)

    • IPsec接收方对发送方发送来的包进行认证,以确保数据在传输过程中没有被篡改。

  • 数据来源认证(Data Authentication)

    • IPsec在接收端可以认证发送IPsec报文的发送端是否合法。

  • 防重放(Anti-Replay)

    • IPsec接收方可检测并拒绝接收过时或重复的报文。

13.2. 优点

IPsec具有以下优点:

  • 支持IKE(Internet Key Exchange,因特网密钥交换),可实现密钥的自动协商功能,减少了密钥协商的开销。可以通过IKE建立和维护SA的服务,简化了IPsec的使用和管理。

  • 所有使用IP协议进行数据传输的应用系统和服务都可以使用IPsec,而不必对这些应用系统和服务本身做任何修改。

  • 对数据的加密是以数据包为单位的,而不是以整个数据流为单位,这不仅灵活而且有助于进一步提高IP数据包的安全性,可以有效防范网络攻击。

13.3. 构成

IPsec由四部分内容构成:

  • 负责密钥管理的Internet密钥交换协议IKE(Internet Key Exchange Protocol)

  • 负责将安全服务与使用该服务的通信流相联系的安全关联SA(Security Associations)

  • 直接操作数据包的认证头协议AH(IP Authentication Header)和安全载荷协议ESP(IP Encapsulating Security Payload)

  • 若干用于加密和认证的算法

13.4. 安全联盟(Security Association,SA)

IPsec在两个端点之间提供安全通信,端点被称为IPsec对等体。

SA是IPsec的基础,也是IPsec的本质。SA是通信对等体间对某些要素的约定,例如,使用哪种协议(AH、ESP还是两者结合使用)、协议的封装模式(传输模式和隧道模式)、加密算法(DES、3DES和AES)、特定流中保护数据的共享密钥以及密钥的生存周期等。建立SA的方式有手工配置和IKE自动协商两种。

SA是单向的,在两个对等体之间的双向通信,最少需要两个SA来分别对两个方向的数据流进行安全保护。同时,如果两个对等体希望同时使用AH和ESP来进行安全通信,则每个对等体都会针对每一种协议来构建一个独立的SA。

SA由一个三元组来唯一标识,这个三元组包括SPI(Security Parameter Index,安全参数索引)、目的IP地址、安全协议号(AH或ESP)。

SPI是用于唯一标识SA的一个32比特数值,它在AH和ESP头中传输。在手工配置SA时,需要手工指定SPI的取值。使用IKE协商产生SA时,SPI将随机生成。

13.5. IKE

IKE(RFC2407,RFC2408、RFC2409)属于一种混合型协议,由Internet安全关联和密钥管理协议(ISAKMP)和两种密钥交换协议OAKLEY与SKEME组成。IKE创建在由ISAKMP定义的框架上,沿用了OAKLEY的密钥交换模式以及SKEME的共享和密钥更新技术,还定义了它自己的两种密钥交换方式。

IKE使用了两个阶段的ISAKMP:

第一阶段,协商创建一个通信信道(IKE SA),并对该信道进行验证,为双方进一步的IKE通信提供机密性、消息完整性以及消息源验证服务; 第二阶段,使用已建立的IKE SA建立IPsec SA(V2中叫Child SA)。

十四、Wi-Fi

14.1. 简介

Wi-Fi又称“无线热点”或“无线网络”,是Wi-Fi联盟的商标,一个基于IEEE 802.11标准的无线局域网技术。

14.2. 攻击

14.2.1. 暴力破解

WiFi密码是基于预置的秘钥,可以通过抓取报文的方式在本地快速的批量进行密码爆破尝试。

14.2.2. 伪造热点

AP可以动态的广播自己,客户也可以主动发送探针请求。可以伪造AP发送对探针请求的响应包,来让客户端错误的识别。

14.2.3. 秘钥重装攻击

该漏洞由Vanhoef发现。Wi-Fi在握手时双方会更新秘钥,该攻击通过重放握手信息,令客户端重新安装相同的秘钥。

14.2.4. Dragonblood

最新版的WPA3标准在实现上存在一些问题,同样由Vanhoef发现。包含拒绝服务攻击、降级攻击、侧信道泄露等。

更多推荐