知识框架

├── 计算机网络基础
│ ├── 数据通信基础
│ │ ├── 信源 / 信宿 / 信道 / 噪声
│ │ ├── 模拟信号 vs 数字信号
│ │ ├── 信道带宽 与 奈奎斯特定理(B=2W,R=2W·log₂N)
│ │ ├── 香农定理(C=W·log₂(1+S/N))、信噪比 dB
│ │ ├── 误码率(Pe = 出错位数 / 传送总位数)
│ │ └── 信道延迟(传播时延)
│ ├── 数据编码
│ │ ├── 模拟数据编码:调幅 AM/ASK、调频 FM/FSK、调相 PM/PSK
│ │ └── 数字数据编码:NRZ、曼彻斯特、差分曼彻斯特、多电平、4B/5B
│ └── 差错控制
│ ├── 随机错误(热噪声) vs 突发错误(冲击噪声)
│ ├── 奇偶校验 / 校验和
│ ├── 海明码(检错+纠错,m+k+1 ≤ 2^k)
│ └── 循环冗余校验码 CRC(多项式模2除法)
├── 网络体系结构与协议
│ ├── 协议三要素:语法、语义、同步
│ ├── OSI 体系结构(7层)
│ ├── TCP/IP 协议簇(4层:IP、ICMP、TCP、UDP、ARP/RARP)
│ └── 网络地址(IP分类、子网划分、CIDR超网、IPv6)
├── 局域网与广域网
│ ├── 局域网(特点、星形/总线/环形/网状拓扑)
│ ├── 以太网(CSMA/CD、二进制指数退避、10/100/1000M)
│ ├── 无线局域网(802.11系列、点对点/HUB/完全分布)
│ └── 广域网(SONET/SDH、DDN、帧中继、ATM、分类)
├── 网络工程
│ ├── 网络规划(需求分析、可行性研究、现状分析)
│ ├── 网络设计(设计任务、分层设计:核心/汇聚/接入)
│ └── 网络实施(验收→安装→测试→试运行→培训→转换)
├── 分布式系统
│ ├── 特征:并发性、缺乏全局时钟、组件故障独立性
│ ├── 八大挑战:异构性、开放性、安全性、可伸缩性、故障处理、并发性、透明性、QoS
│ ├── 八种透明性
│ ├── 分布式文件系统:GFS、HDFS、TFS、MooseFS
│ └── 分布式缓存:Memcache、Redis、Tair
├── 构件与中间件
│ ├── 构件(构件模型、顺序/层次/叠加组装、适配器)
│ └── 中间件(功能、分类、应用、与构件关系)
├── Web 服务(SOA、服务提供者/请求者/注册中心、HTTP/XML/SOAP/WSDL/UDDI)
└── 云计算(SaaS/PaaS/IaaS、公有/社区/私有/混合云)


1.计算机网络基础

计算机网络按"数据通信"和"数据处理"功能分为两层:内层通信子网(结点计算机与高速通信线路,承担数据传输、交换、加工、变换等通信处理)和外层资源子网(计算机、终端、接口设备、外部设备及软件资源,负责全网数据处理与向用户提供网络资源和服务)。

1.1 数据通信基础

  • 信源:通信中产生和发送信息的一端;信宿:接收信息的一端;信道:信源和信宿之间的通信线路。
  • 模拟信号:随时间连续变化的信号,用幅度、相位、频率等参量表示信息。
  • 数字信号:只取有限个离散值,以某一瞬间的状态表示信息,状态间转换几乎瞬时。

1 信道带宽与奈奎斯特定理

  • 模拟信道带宽:W = f2 − f1(f1 为最低频率,f2 为最高频率,由物理特性决定)。
  • 码元:一个数字脉冲称为一个码元;码元速率(波特率)B = 1/T(T 为码元宽度),单位为波特(Baud)。
  • 奈奎斯特定理(无噪声信道极限波特率):B = 2W (Baud),即奈奎斯特极限。
  • 一个码元携带的信息量 n 与码元种类数 N 的关系:n = log₂N(N=2ⁿ,如 2 种离散值携带 1 位,4 种携带 2 位)。
  • 数据速率:R = B·log₂N = 2W·log₂N(单位 b/s)。仅当码元取两个离散值时,波特率与数据速率数值才相等。
  • 香农定理(有噪声信道极限):C = W·log₂(1 + S/N),其中 W 为带宽,S 为信号平均功率,N 为噪声平均功率,S/N 为信噪比。分贝换算:dB = 10·log₁₀(S/N)(如 S/N=1000 → 30dB)。
  • 香农定理与信号离散值个数无关,只要给定信噪比,最大信息传输量就确定了。该极限只有理论意义(如 3000Hz 带宽、30dB 信噪比 → C ≈ 30000 b/s,实际电话线只能达 9600 b/s 即较理想)。
  • 两种带宽概念:模拟信道按 W=f2−f1 计算(如 CATV 电缆 600/1000MHz);数字信道带宽是能达到的最大数据速率(如以太网 10/100Mb/s)。

2. 误码率
传输二进制位出现差错的概率:Pe = N(出错位数) / N(传送总位数)。计算机通信网中一般要求误码率低于 10⁻⁶(即平均每传送 1Mb 允许错 1b)。误码率低到一定数值时可用差错控制进行检查和纠正。

3. 信道延迟
信号从源端到宿端的传播时间,与距离和传播速度有关。电信号接近光速(300m/μs),电缆中约为光速的 77%(200m/μs)。500m 同轴电缆时延约 2.5μs,卫星信道时延约 270ms。时延对交互式应用影响很大。

1.2 数据编码

1. 模拟数据编码(数字信号经调制在模拟信道传输)

调制方式别名原理特点
调幅 AMASK 幅移键控载波振幅随基带数字信号变化(1 有载波、0 无载波)易实现、技术简单,抗干扰能力差
调频 FMFSK 频移键控载波频率随信号变化(1 用 f1、0 用 f2)易实现、技术简单,抗干扰较强
调相 PMPSK 相移键控载波初始相位随信号变化(1→180°、0→0°)抗干扰较强,实现技术较复杂

2. 数字数据编码(基带传输)

编码规则特点
不归零编码 NRZ低电平=0,高电平=1无法判断每位的起止,收发不能同步,需另传同步信号
曼彻斯特编码 ME用电平跳变表示,每比特中间都有跳变(既作时钟又作数据);高→低跳变=1,低→高跳变=0无须另发同步信号;编码效率低(10Mb/s 需 20MHz 脉冲)
差分曼彻斯特编码 DME中间跳变仅作同步;每比特开始无跳变=1,有跳变=0对曼彻斯特改进,抗干扰更好,同样无须同步信号
多电平编码码元取多个电平之一,一个码元代表多个二进制位(M=2ⁿ)数据速率>波特率,提高频带利用率;抗噪声差,易畸变
4B/5B 编码用 5bit 代表 4bit提高编码效率、降低电路成本(用于 100Mb/s 高速网)

编码选择要综合考虑传输速度、信道带宽、线路质量和实现价格等因素。

1.3 差错控制

  • 随机错误:由热噪声(电子热运动)引起,时刻存在、频谱宽、幅度小,影响个别位,具有随机性。
  • 突发错误:由冲击噪声(雷击、电焊机电压波动等)引起,持续时间短、幅度大,引起一个位串出错,属突发性;信号失真、相邻线路串音也会产生突发错误。
  • 突发性差错影响局部,随机性差错断续存在影响全局。

1. 奇偶校验检错码:在 7 位 ASCII 后增加一位,使码字中 1 的个数为奇(奇校验)或偶(偶校验),能发现奇数个位出错,简单实用但只能对付少量随机错误。校验和:把数据块每个字节当二进制整数按模 256 相加,得到的和作为校验字节发送,可检测突发性位串出错。

2. 海明码(检错 + 纠错)

  • 海明距离:一个码字变成另一个码字必须改变的最小位数。7 位 ASCII 加一位奇偶位成 8 位码字,128 个码字间的海明距离是 2,故一位出错可检出,两位出错就变成另一个码字。
  • 若任意两码字间海明距离为 d,则 ≤ d−1 位错误可检查出,< d/2 位错误可纠正。
  • 冗余位下界公式:对 m 位数据增加 k 位冗余位,需满足 m + k + 1 ≤ 2^k。
  • 编码方法:校验位放在 1、2、4、8…(2 的幂)位置,其余位置放数据位;每位参与"编号二进制展开中 2 的幂"对应的校验。例:传送 1001011(7 位),放 3、5、6、7、9、10、11 位,1、2、4、8 位为校验位;接收端按同样规则重算,出错校验位编号之和即出错位(如 2 号、4 号位奇偶错,2+4=6 即 6 号位出错)。

3. 循环冗余校验码 CRC(检错能力强、易硬件实现,局域网广泛应用)

  • 循环码:任一有效码字循环移位后仍是有效码字。
  • 原理:把 m 位数据看作 m−1 阶多项式 D(x) 的系数,用生成多项式 G(x) 除 x^k·D(x) 得余多项式 R(x),实际传送码字多项式 F(x) = x^k·D(x) + R(x);接收端对 F(x) 校验和应为 0,若 H(x)=F(x)+E(x) 不能被 G(x) 整除则说明有错(E(x)≠0)。运算按模 2(异或)。
  • 常用标准:CRC-CCITT、CRC-16、CRC-12、CRC-32(CRC-32 常用于局域网)。

2 网络体系结构与协议

网络协议是规定信息格式及如何收发信息的规则集合,由 3 个要素组成:语法(控制信息或数据的结构和格式)、语义(发出何种控制信息、完成何种动作、做出何种应答)、同步(事件实现顺序的详细说明)。分层设计使不同机器同等功能层用相同协议,同一机器相邻层通过接口传递信息。

2.1 OSI 体系结构

ISO 推出的开放系统互连参考模型(OSI/RM)共 7 层,层间逻辑对等通信,下层为上层提供服务。

层次主要功能数据单位
物理层最基础的一层,按位传输,向数据链路层提供透明位流,完成链路建立/保持/拆除,规定机械/电气/功能特性位(bit)
数据链路层可靠传送,差错检测与校正、流量控制帧
网络层(通信子网层)提供路由选径、拥塞控制、包顺序控制、网络记账;高层与低层界面包
传输层高低层衔接的接口层、协议核心;切分数据片、无差错有序报文收发、传输连接、流量控制报文/段
会话层建立、管理、终止会话;数据交换、交互管理、会话同步、异常报告;分建立链路/数据交换/释放链路三阶段—
表示层数据编码格式转换、数据压缩/解压、加密/解密、语法选择与转换—
应用层最高层,用户窗口;网络管理、文件传输、事务处理;涉及分布数据库、分布计算、远程文件传输、电子邮件、终端电话等—

2.2 TCP/IP 协议簇

为异种网络、不同设备互连通信而制定的一组约定,源于 ARPANET,含 TCP、IP、UDP、ICMP、RIP、Telnet、FTP、SMTP、ARP 等。分 4 层(由下至上):网络接口层、网际层、传输层、应用层。TCP/IP 本质采用分组交换技术(避免单个用户长期占用线路;出错只需重传出错包)。

OSI 模型TCP/IP 模型主要协议
应用层/表示层/会话层应用层FTP、Telnet、SMTP、NFS、SNMP、DNS
传输层传输层TCP、UDP
网络层网际层IP、ICMP、ARP、RARP
数据链路层/物理层网络接口层(链路层)Ethernet、FDDI、Token-Ring、PPP/SLIP

1) IP 协议:IP 数据报 = 首部 + 数据。首部由固定 20 字节基本首部 + 0~40 字节任选项组成。关键字段:版本号(IPv4→IPv6)、IHL(IP 头长度,32 位字计,最小 5 即 20 字节)、服务类型、段总长度、标识符、标志(M 标志用于分段重装配、禁止分段标志)、段偏置值、生存期(以经过的路由器个数表示)、协议(上层 TCP/UDP)、头校验和(对 IP 头所有 16 位字做 1 的补码相加)、源地址/目的地址、任选数据、补丁、用户数据(与 IP 头合计不超过 65535 字节)。

2) ICMP 协议:与 IP 同属网络层,传送通信问题消息(如数据报不能到达、缓存不足、最短通路信息),封装在 IP 数据报中传送,不保证可靠提交,共 11 种报文。

3) TCP 协议:面向连接的传输层协议,PDU 为 TCP 段。段头字段:源端口(16位)、目标端口(16位)、发送顺序号(32位,本段第一个数据字节顺序号)、接收顺序号(32位,捎带确认,指明期望接收的下一字节)、偏置值(4位)、保留字段(6位)、标志字段(6位:URG 紧急、ACK 确认、PSH 推进、RST 复位、SYN 同步、FIN 释放)、窗口(16位,流控)、校验和(16位)、紧急指针、任选项(最大段长)、补丁。

  • 顺序号针对字节流而非整段:如某段发送顺序号 1000、含 500 字节,下一段从 1500 开始。TCP 采用积累接收机制。
  • 连接建立用三次握手(SYN 同步)。
  • 窗口字段 + 发送顺序号 + 应答顺序号共同实现滑动窗口协议。
  • 校验和范围包括整个 TCP 段和伪段头(IP 头一部分)。
  • TCP 头 + IP 头共 40 字节开销。

4) UDP 协议:无连接,提供不可靠、不保证顺序的传输服务,协议开销少,多用于网络管理(如 SNMP 基于 UDP)。UDP 头含源端口、目标端口、段长、校验和(任选,为 0 表示不校验)。

5) ARP 与 RARP:驻留网际层。ARP 将 IP 地址→物理地址,RARP 将 物理地址→IP 地址。ARP 过程:先查 ARP 高速缓存,命中直接用;未命中则局域网内广播 ARP 请求,目标机回 ARP 应答(含物理地址),缓存后通信。RARP 需网络中设 RARP 服务器存 IP 与物理地址映射。

6) 应用层协议:NFS、Telnet、SMTP、DNS、SNMP、FTP 等高层协议。

2.3 网络地址

1. IP 地址:IPv4 为 32 位二进制逻辑地址,分 4 字节,字节间用"."分隔(如 11000000 10101000 11001000 10000000 → 192.168.200.128)。每地址 = 网络号 + 主机号,分 5 类:

类别最高位网络号位数主机号位数说明
A 类0824大型网络
B 类101616中型网络
C 类110248小型网络
D 类1110——组播地址
E 类1111——保留

保留(私网)地址:
A 类 10.0.0.0~10.255.255.255(网络数 1);
B 类 172.16.0.0~172.31.255.255(16 个);
C 类 192.168.0.0~192.168.255.255(255 个)。

2. 子网划分:将 IP 地址划为网络号、子网号、主机号三部分(用主机号部分继续划分子网)。子网掩码为 32 位二进制,网络标识和子网标识部分全 1、主机标识部分全 0(如 255.255.240.0)。判断同子网:两 IP 分别与掩码做逻辑与,结果相等则同子网(如 190.78.240.1 与 190.78.250.1 同子网,190.78.230.1 属另一子网)。

3. 构造超网(CIDR):无分类域间路由,消除传统分类和子网概念。特点:(1) 把 32 位 IP 划分为网络前缀 + 主机号,记法为"IP/前缀位数"(如 128.2.3.4/20 表示前缀高 20 位、主机号低 12 位);(2) 网络前缀相同的连续 IP 组成 CIDR 地址块,可推得起始/结束地址(如 128.14.35.7/20 所在块为 128.14.32.0~128.14.47.255)。地址聚合称路由汇聚,可缩小路由表、减少每跳延迟、减少查询时间和路由协议开销。

4. IPv6:地址长度 128 位(IPv4 为 32 位)。优势:更大的地址空间、更小的路由表(遵循路由汇聚)、增强的组播和流支持(利于 QoS)、自动配置支持(DHCP 改进)、更高安全性(网络层加密与报文校验)。IPv4→IPv6 过渡 3 种技术:隧道技术(IPv6 节点经 IPv4 网络通信)、双协议栈技术(IPv4/IPv6 共存)、翻译技术(纯 IPv6 与纯 IPv4 节点通信)。

3 局域网与广域网

局域网(LAN):有限地理范围(数百米至数公里)内多台计算机互联实现通信与资源共享。
广域网(WAN):传输距离长、连接大区域设备组成资源共享网络。

3.1 局域网

特点:(1) 地理范围小;(2) 数据速率高(早期 10~100Mb/s,目前 1000Mb/s 普遍);(3) 误码率低(短距离基带传输、高质量介质);(4) 以 PC 为主体,一般不架设主骨干网;(5) 协议简单、结构灵活、成本低、周期短、易管理扩充。

拓扑结构:星形(中心枢纽连接所有节点)、总线(一条共享线路连接所有节点,如传统以太网)、环形(闭合共享线路,每节点只连两个邻居,消息须经中间节点)、网状(任意节点两两直连,任一节点故障不影响其他,但布线麻烦、成本高、控制复杂,实际很少用)。

3.2 以太网

以太网采用 CSMA/CD(带冲突检测的载波监听多路访问)。
(1) 载波监听:

监听算法信道空闲时信道忙时特点
非坚持型立即发送等待 N 再监听减少冲突,信道利用率降低
1-坚持型立即发送继续监听提高信道利用率,增大冲突
P-坚持型以概率 P 发送继续监听有效平衡,但复杂

(2) 冲突检测:采用"边发边听"——发送者一边发一边接收回来比较,发现不同立即停发并发出冲突信号(阻塞信号),所有节点随机等待后重新监听。
介质访问工作过程:先侦听信道,空闲则发送,忙则继续侦听至空闲立即发送;发送时边发边接收比较,遇碰撞立即停发并发出阻塞信号;各站等待随机时间,等待最短的站重新获得信道。常用二进制指数退避算法降低再次冲突概率。
以太网类型:

  • IEEE 802.3(10Mb/s,细同轴电缆):10Base5、10Base2、10Base-T(双绞线)、10Base-F(光纤)。
  • IEEE 802.3u(100Mb/s 快速以太网,双绞线/光纤,向下兼容,仍用 CSMA/CD):100BaseTX(两对 5 类 UTP)、100BaseFX(多模光纤,无中继最大 400m)、100BaseT4(4 对 3 类 UTP)。
  • IEEE 802.3z(1000Mb/s 千兆以太网,光纤/双绞线,仍用 CSMA/CD):光纤系统(多模 500m、单模 2000m)、宽带同轴电缆(25m)、5 类 UTP(100m,半双工);采用以交换机为中心的星形拓扑,用于交换机间或交换机与服务器间高速连接。

3.3 无线局域网(WLAN)

关键技术:红外传输、扩频、窄带微波,及调制、加解扰、无线分集接收、功率控制、节能等技术。优点:安装便捷、使用灵活、经济节约、易于扩展。

WLAN 标准:IEEE 802.11(1~2Mb/s,最早,无连接协议)、802.11b(11Mb/s)、802.11a(54Mb/s)、802.11g(54Mb/s、兼容 802.11b、2.4GHz 免费频段、更便宜)、802.11n(200Mb/s 以上)。

WLAN 拓扑:点对点型(连接两个有线 LAN 网段,中远距离高速链路,波束窄减小功率衰耗);HUB 型(中心节点 + 外围节点,集中控制式通信,用户设备简单、维护低、管理单一,可结合微蜂窝复用,但延迟增加、抗毁性差、中心故障易瘫痪);完全分布型(理论阶段,分布路由算法,抗毁性好、移动能力强、可多跳,但复杂成本高、管理困难、有干扰,适合军事)。

3.4 广域网

特点:(1) 主要提供面向数据通信的服务;(2) 覆盖范围广、距离远、无固定拓扑;(3) 由电信部门组建管理维护、有偿服务。广域网由通信子网(通信节点设备 + 链路,链路分主干链路和末端用户线路)与资源子网(资源设备与软件集合)组成。
相关技术:

  • SONET/SDH:SONET 为美国标准、SDH 为国际电信联盟标准(由 SONET 发展而来),均为传输网络物理层技术,可封装 PDH、支持 ATM。
  • DDN 数字数据网:数字信道提供半永久性连接电路,速率高、质量高、协议简单、连接灵活、可靠性高。
  • 帧中继 FR:运行于物理层和数据链路层的数据包交换技术,是 X.25 简化版本,采用虚电路技术,吞吐量高、时延低、适合突发业务。
  • ATM 异步传输模式:以信元为基础的面向连接的分组交换和复用技术,信元长度固定 53 字节,高速处理交换,典型速率 150Mb/s。

广域网分类:公共传输网络(电路交换网络 + 分组交换网络)、专用传输网络(DDN,独占带宽)、无线传输网络(GSM、TD-SCDMA/WCDMA/CDMA-2000、LTE、5G)。

4 网络工程

按实施过程分网络规划、网络设计、网络实施三个阶段。

4.1 网络规划

以需求为基础,考虑技术与工程可行性,包括需求分析、可行性研究、现有网络分析。
1. 网络需求分析(自顶向下结构化方法):功能需求、通信需求、性能需求(容量/带宽、利用率、吞吐量、延迟、响应时间、差错率、网络效率等)、可靠性需求(精确度、错误率、稳定性、无故障时间、数据备份)、安全需求(可用性、完整性、保密性)、运行与维护需求、管理需求(用户管理、资源管理、配置管理、性能管理、网络维护),以及地理位置和运行环境要求。

2. 可行性研究:从技术可行性、经济可行性、法律可行性、用户使用可行性论证。

3. 对现有网络的分析与描述:服务器/客户机数量与位置、同时访问数量(峰值)、每天用户数、每次使用时间、每次传输数据量、网络拥塞时间段、采用的协议、通信模式等。改造原则:不推倒重来、基于现有设备升级改造、旧设备降级使用并新增先进设备。

4.2 网络设计

1. 设计任务:(1) 确定网络总体目标;(2) 确定总体设计原则(实用性、开放性、高可用性/可靠性、安全性、先进性、易用性、可扩展性);(3) 通信子网设计(拓扑结构与总体规划,结合费用、灵活性、可靠性);(4) 资源子网设计(服务器接入);(5) 设备选型(厂商选择、扩展性、性价比;核心交换机要高性能高速率、高可靠、可管理,汇聚/接入交换机要灵活、便宜、易用、支持 QoS);(6) 网络操作系统与服务器资源设备(先看应用再定 OS 再选服务器);(7) 网络安全设计(木桶原则、整体性、有效性与实用性、等级性、设计为本、自主可控、安全有价等原则)。

2. 分层设计(类似结构化设计):接入层(直接面向用户,交换机低成本、高端口密度)、汇聚层/分布层(核心层与接入层分界面,访问策略控制、数据包处理、过滤、寻址;比接入层交换机更高性能、更少接口、更高交换速率)、核心层(网络主干,高速转发通信,高可靠性、性能和吞吐量,常用 ATM、100Base-FX、千兆以太网;高可用用双星/树结构 + 链路聚合)。

4.3 网络实施

步骤:(1) 工程实施计划;(2) 网络设备到货验收(规格、数量、质量核实,检查合格证等);(3) 设备安装(综合布线、机房工程、网络设备、服务器、系统/应用软件,注意综合布线隐蔽工程质量);(4) 系统测试(网络设备测试、网络系统测试——连通性/吞吐率/时延/丢包率/利用率/错误率/广播组播帧及冲突率、网络应用测试——DHCP/DNS/Web/E-mail/FTP);(5) 系统试运行;(6) 用户培训;(7) 系统转换(直接转换、并行转换、分段转换三种,可靠性与成本各异)。

5 分布式系统

定义:组件分布在联网计算机上,组件间通过消息传递进行通信和动作协调的系统。
关键特征:组件的并发性(进程间并发)、缺乏全局时钟、组件故障的独立性。构建动力源于对共享资源(硬件如磁盘打印机,软件如文件、数据库、应用服务)的期望。

八大挑战:

挑战内涵
异构性屏蔽不同网络、数据类型表示(大端/小端)、OS 接口、编程语言差异(如用 gRPC 等公共标准)
开放性决定系统能否被扩展和重新实现,取决于新增资源共享服务和供多客户使用的程度;通过发布关键接口实现,如 RFC
安全性机密性(防泄露)、完整性(防篡改/破坏)、可用性(防 DDoS 等干扰)
可伸缩性用户或负载激增仍能正常运行
故障处理分布式故障是部分的;技术有检测故障、掩盖故障(重传、双盘镜像)、容错、故障恢复(事务、分布式事务)
并发性多客户同时访问共享资源;用分布式锁、读锁/写锁/公平锁/非公平锁保证一致性
透明性对用户和开发人员屏蔽组件分离性(详见下)
服务质量 QoS非功能特性:可靠性、安全性、性能(及时性保证能力)

八种透明性(ANSA/RM-ODP):访问透明性、位置透明性、并发透明性、复制透明性、故障透明性、移动透明性、性能透明性、伸缩透明性;访问透明性与位置透明性统称网络透明性。

1. 分布式文件系统:通过廉价服务器提供大规模高并发存储,容量可扩展至 EB 级,但网络时延是瓶颈。主流:GFS(Google 专有,容错、总体性能高,未开源)、HDFS(高容错,主从结构:1 个 NameNode 管理命名空间和访问,多个 DataNode 管理数据)、TFS(淘宝,面向海量小文件、扁平化组织结构、HA 架构、平滑扩容)、MooseFS(管理服务器/数据服务器/元数据备份服务器/客户机 4 部分,基于 FUSE)、以及 Ceph、Lustre、MogileFS、FastDFS、GridFS。

2. 分布式缓存系统:缓存数据分布在不同服务器,缓存复杂计算数据或热点数据以减轻数据库压力。

  • Memcache:内存维护巨大 Hash 表,键值存储,每进程最大 2GB;LRU 淘汰策略 + Lazy Expiration(获取时检查时间戳);不支持持久化;服务器间不通信,分布式能力依赖客户端。集群选节点算法:哈希取余 Hash(key)%N、一致性哈希(Hash 环)、虚拟 Hash 槽。
  • Redis:开源高性能键值存储,支持字符串/哈希/列表/集合/有序集合等;一致性哈希分散缓存;快速、可扩展、高效、可靠;优点:高性能读写、多数据类型、持久化、高可用、分布式分片集群、单线程读写性能极高;缺点:多线程读写较 Memcache 慢。
  • Tair:阿里研发,持久化与非持久化两种方式;由一个中心控制节点 Config Server(主备)+ 多个服务节点 Data Server(等价)组成;用一致性哈希分 Q 个桶,桶为负载均衡和迁移基本单位;默认存储引擎 mdb(缓存,支持 Share Memory)与 fdb(持久化,树索引)。

6 构件与中间件

构件(组件):自包容、可复用的程序集,以源程序或二进制代码提供,整体向外提供统一访问接口,外部只能通过接口访问。两个最重要特性:自包容与可重用。
中间件:为应用提供通用服务和功能的软件,数据管理、应用服务、消息传递、身份验证、API 管理通常要通过中间件。

6.1 构件

基于构件的软件工程 CBSE:基于分布对象技术、通过可复用构件设计与构造软件系统的软件复用途径,构件可为 COTS 构件或自行开发。
构件模型:定义构件实现、文档化、开发的标准,保证互操作性。主流模型:Web Services、Sun EJB、微软 .NET。模型要素:接口(操作名、参数、异常)、使用信息(全局唯一名字/句柄、元数据)、部署(打包为独立可执行实体的规格)。构件模型提供平台服务和支持服务(如身份认证);中间件实现共性构件服务,构件部署在容器中。
构件组装(3 种方式):

  • 顺序组装:按顺序调用已有构件创造新构件,需胶水代码使上构件输出与下构件输入兼容。
  • 层次组装:一构件直接调用另一构件提供的服务,被调用构件"提供"接口须与调用构件"请求"接口兼容。
  • 叠加组装:两个以上构件放在一起创建新构件,合并功能对外提供新接口,原构件互不依赖互不调用。
    接口不兼容 3 种情况:参数不兼容(参数类型/个数不同)、操作不兼容(操作名不同)、操作不完备(提供接口是请求接口子集)。须编写适配器构件(将一个接口转换为另一接口)解决。

6.2 中间件

位于操作系统之上,管理计算资源和网络通信,实现应用间互操作。基本功能 6 方面:(1) 客户机与服务器连接通信;(2) 应用层不同服务互操作、应用层与数据库连接控制;(3) 提供多层架构开发运行平台和框架;(4) 屏蔽硬件/OS/网络/数据库差异;(5) 负载均衡、高可用、安全、交易管理;(6) 提供通用服务避免重复工作。
分类(自底向上):底层中间件(JVM、CLR、ACE)、通用型中间件(RPC、ORB、MOM)、集成型中间件(WorkFlow、EAI)。按职责分类:通信处理(消息)中间件、事务处理(交易)中间件、数据存取管理中间件、Web 服务器中间件、安全中间件、跨平台和架构中间件(CORBA、JavaBeans、COM+)、专用平台中间件、网络中间件。
中间件与构件的关系:中间件是对分布式应用的抽象,构件在中间件环境中集中于业务逻辑、以构件形式存在。关系体现在:面向需求、业务的分隔和包容性、设计与实现分离(IDL 描述接口)、隔离复杂的系统资源、符合标准的交互模型、软件复用、提供对应用构件的管理。中间件就是架构,是构件存在的基础,促进构件化实现。

7 Web 服务

Web 服务是企业发布的、完成特别商务需求的在线应用服务,其他公司或应用可通过互联网访问使用。核心是 SOA(面向服务的架构),通过完善接口实现远程访问应用,是信息系统集成及系统间自动化信息交换的基础,为"软件即服务"提供技术保障。
体系结构:服务提供者(所有者,定义并实现服务、用服务描述语言描述并发布到注册中心)、服务请求者(使用者,查找/绑定/调用服务,可由浏览器担当)、服务注册中心(纽带,可选)。三种操作:发布服务描述、查找服务描述、根据服务描述绑定或调用服务。
技术平台(Web 服务栈,自下而上):

  • 网络层:HTTP/HTTPS、SMTP、FTP。
  • 基于 XML 的消息层:SOAP(基于 XML 的消息传输协议,交换结构化数据,跨编程语言和底层基础设施的集成机制)、XML(可扩展标记语言,数据存储/描述语言)。
  • 服务描述层:WSDL(基于 XML 定义 Web 服务接口,描述功能、位置、调用方式,把服务描述为一组端点)。
  • 服务发现层:UDDI(基于 Web 的分布式服务信息注册中心实现标准,让企业以相同方式描述和查询服务)。

8 云计算

通过计算机网络(多指因特网)形成的计算能力极强的系统,可存储、集合资源并按需配置,向用户提供个性化服务。狭义:提供资源的网络,按需使用、按使用量付费、无限扩展;广义:把计算资源集合成共享池"云",通过软件自动化管理。
1. 服务方式(自上而下):

服务方式含义灵活性方便性
SaaS 软件即服务应用软件部署在云平台,客户经浏览器订购使用低高
PaaS 平台即服务提供分布式开发环境与平台,客户定制开发应用中中
IaaS 基础设施即服务把内存、I/O、存储、计算整合为虚拟资源池,提供存储、虚拟化服务器高低

特征:灵活性 SaaS→PaaS→IaaS 依次增强(用户可控资源越来越底层、粒度越小);方便性 IaaS→PaaS→SaaS 依次增强;PaaS 是最关键的一层,起支撑作用,地位相当于系统软件,为上层 SaaS 提供 API。
2. 部署模式(NIST 定义,4 种):公有云(基础设施公开,分配公众,价廉)、社区云(分配给共同关注任务/安全/政策的社区组织专有,属公有云范畴内的组成部分)、私有云(分配给单个组织)、混合云(公有/私有/社区云组合,公有信息放公有云、私有信息放私有云)。


常考点

1. OSI 七层模型与 TCP/IP 四层模型及各层功能、协议、数据单位 ★★★
选择题高频:考"传输层是协议核心"“数据链路层单位是帧”"网络层提供路由"等;也考两模型层次对应关系。答题要点:牢记各层名称顺序、功能关键词、PDU(位/帧/包/段),能说出 TCP/IP 各层典型协议。

2. 奈奎斯特定理与香农定理的计算 ★★★
选择题计算:给出带宽 W、码元种类 N 或信噪比 dB,求最大波特率/数据速率/信道容量。答题要点:记牢 B=2W、R=2W·log₂N、C=W·log₂(1+S/N)、dB=10·lg(S/N);先由 dB 还原 S/N 再代入香农公式。

3. IP 地址分类、子网划分与 CIDR 计算 ★★★
选择题/案例:判断地址类别、给定 IP 与掩码求网络号/是否同子网、由 CIDR 前缀求地址块范围。答题要点:记住 A/B/C 类最高位与网络号位数;同子网判据是"IP 与掩码按位与后相等";CIDR 斜线记法。

4. 差错控制:海明码、CRC 原理 ★★
选择题:海明码冗余位下界 m+k+1 ≤ 2^k、海明距离与检错纠错关系(检 d−1 位、纠 <d/2 位);CRC 的多项式模 2 除法。答题要点:会套公式求最少校验位数;区分"检错"与"纠错"能力。

5. 数据编码:曼彻斯特/差分曼彻斯特/NRZ/4B5B、ASK/FSK/PSK ★★
选择题:给波形判断编码,或问"哪两种编码无须另发同步信号、效率低"。答题要点:曼彻斯特每比特中间必有跳变(高低=1、低高=0),差分曼彻斯特看起始边界有无跳变。

6. TCP 与 UDP 的区别、三次握手、滑动窗口、端口 ★★
选择题/案例:TCP 面向连接可靠、UDP 无连接开销小;三次握手建立连接;序号按字节。答题要点:抓住"面向连接/无连接"“可靠/不可靠”"开销大小"三组对比。

7. 中间件与构件 ★★
选择题/案例/论文:中间件分类与功能、构件三要素(接口/使用信息/部署)、三种组装方式、适配器。答题要点:中间件"屏蔽差异、提供通用服务";构件"自包容+可重用"。

8. 云计算服务方式与部署模式 ★★
选择题:SaaS/PaaS/IaaS 区分、公有/私有/社区/混合云。答题要点:按"用户可控资源层次"区分三种服务,记住 PaaS 最关键、灵活性/方便性两条趋势。

9. 分布式系统的特征与透明性 ★★
选择题/论文:并发性、缺乏全局时钟、故障独立性;八种透明性。答题要点:把握"组件分布在联网计算机、消息传递协调"核心定义,能举例说明各类透明性。

10. Web 服务与 SOA 技术栈 ★★
选择题:SOAP/WSDL/UDDI 各层作用、三角色三操作。答题要点:WSDL 描述服务、SOAP 消息传输、UDDI 发现服务。

11. 以太网 CSMA/CD 与监听算法、拓扑结构 ★
选择题:载波监听三种算法特点、二进制指数退避、星形/总线/环形/网状优缺点。答题要点:记住"非坚持减少冲突、1-坚持提高利用率、P-坚持折中"。

12. 网络工程三阶段与需求分析/分层设计 ★
案例/论文:网络规划(需求、可行性、现状)、设计(核心/汇聚/接入三层)、实施步骤。答题要点:会按"规划→设计→实施"框架组织答案。


易混点

1. 奈奎斯特定理 vs 香农定理

对比项奈奎斯特定理香农定理
适用信道无噪声理想信道有噪声信道
公式B=2W;R=2W·log₂NC=W·log₂(1+S/N)
决定因素带宽 W 与码元离散值个数 N带宽 W 与信噪比 S/N
含义极限波特率/无噪声极限数据速率有噪声极限数据速率
关系与调制离散值个数有关与调制方式、离散值个数无关

联系:二者都是信道容量的理论上限,实际速率远达不到。
口诀:奈氏"无噪声管波特,2W 乘对数";香农"有噪声管容量,带宽乘信噪比对数"。

2. 波特率 vs 数据速率

对比项波特率(码元速率)数据速率
定义单位时间传输的码元个数单位时间传输的信息量(位数)
单位波特 Baudb/s
公式B=1/TR=B·log₂N
相等条件仅当码元取两个离散值时二者数值相等同左

联系:R = B·log₂N;提高数据速率可在波特率不变时让一个码元表示更多位(N 增大)。
口诀:波特数个码元,数据速率位数,多电平时"数据>波特"。

3. TCP vs UDP

对比项TCPUDP
连接性面向连接(三次握手建立)无连接
可靠性可靠、有序、有确认与重传不可靠、不保证顺序
开销大(TCP 头+IP 头 40 字节)小
适用文件传输 FTP、邮件 SMTP、远程登录 Telnet网络管理 SNMP、实时/广播场景
机制滑动窗口、流量控制、积累接收仅加端口寻址

联系:同属传输层,都在 IP 之上,靠端口号区分上层应用。
口诀:“TCP 握手重传讲可靠,UDP 轻装无连接快”。

4. OSI 七层模型 vs TCP/IP 四层模型

对比项OSI/RMTCP/IP
层数7 层4 层
分层物理、数据链路、网络、传输、会话、表示、应用网络接口、网际、传输、应用
来源ISO 理论参考模型ARPANET 实际标准
特点概念清晰、理论完备但复杂实用简洁、广泛部署

联系:TCP/IP 的应用层大致对应 OSI 的应用/表示/会话层,网际层对应网络层,网络接口层对应数据链路层+物理层。
口诀:“七层理论 ISO,四层实用 TCP/IP”。

5. 曼彻斯特编码 vs 差分曼彻斯特编码

对比项曼彻斯特编码差分曼彻斯特编码
数据判定每比特中间高→低跳变=1,低→高=0中间跳变仅同步,起始边界无跳变=1、有跳变=0
同步中间跳变兼作时钟与数据中间跳变仅作同步
抗干扰好更好(差分比较)

联系:都是数据通信最常用的数字编码,共同优点是无须另发同步信号,共同缺点是编码效率低(10Mb/s 需 20MHz 脉冲)。
口诀:曼彻斯特"看中间跳方向",差分曼彻斯特"看开头跳不跳"。

6. 子网划分 vs 构造超网(CIDR)

对比项子网划分构造超网 CIDR
目的缓解 IP 地址浪费、灵活控制子网规模缓解路由表项目激增、聚合地址
结构网络号+子网号+主机号网络前缀+主机号(无分类)
依据子网掩码(网络+子网位全 1)斜线记法 /前缀位数
方向把一个网络"切小"把多个连续地址"聚合"

联系:都是对 IP 地址结构的灵活处理,都涉及掩码/前缀的位运算;CIDR 又称路由汇聚。
口诀:“子网向下切,超网向上合”。

7. 构件 vs 中间件

对比项构件(组件)中间件
本质自包容、可复用的程序集独立的系统软件/服务程序
特性自包容 + 可重用,外部只能经接口访问屏蔽硬件/OS/网络/数据库差异,提供通用服务
定位业务逻辑的封装单元构件存在的基础、运行环境(相当于架构)
关系部署于中间件提供的容器中实现共性构件服务,为构件互连提供支持

联系:中间件就是架构,是构件存在的基础,促进构件化实现;构件反过来促进新一代中间件产品。
口诀:“构件是积木,中间件是底座”。


备考提示

复习优先级建议

  • 第一梯队(必会,直接拿分):OSI/TCP-IP 模型层次与功能、奈奎斯特/香农定理计算、IP 地址分类与子网/CIDR 计算、TCP 与 UDP 对比。这些每年上午选择题几乎必考,且计算题套路固定,务必熟练到"看到数字就能代入公式"。
  • 第二梯队(高频,理解记忆):差错控制(海明码、CRC)、数据编码(曼彻斯特系列)、中间件与构件、云计算(SaaS/PaaS/IaaS)、Web 服务技术栈、分布式系统透明性。
  • 第三梯队(了解,论文/案例素材):网络工程三阶段、局域网/广域网技术细节(CSMA/CD、ATM、SONET/SDH)、分布式文件系统与缓存(GFS/HDFS/Redis 等)。

记忆技巧

  • 记 OSI 七层可用口诀:“物数网传会表应”(物理层、数据链路层、网络层、传输层、会话层、表示层、应用层),PDU 对应"位、帧、包、段"。
  • 奈氏与香农公式只需记四个:B=2W、R=B·log₂N、C=W·log₂(1+S/N)、dB=10·lg(S/N);计算时先"dB→S/N"。
  • IP 分类记最高位:A=0、B=10、C=110、D=1110、E=1111;私网地址记"10、172.16、192.168"三个开头。
  • 曼彻斯特"中间必有跳变",差分曼彻斯特"看开头";TCP"面向连接+三次握手",UDP"无连接+开销小"。
  • 云计算灵活性/方便性两条反向趋势:灵活性 SaaS→PaaS→IaaS 增强,方便性 IaaS→PaaS→SaaS 增强。

跨章节关联

  • 本章"网络工程"的规划/设计/实施流程,与后面系统开发、项目管理、系统规划等章节的可行性分析、结构化方法相通;“需求分析”(功能/性能/安全/可靠性等)是系统分析师贯穿全书的核心方法。
  • “分布式系统”“构件与中间件”“Web 服务/SOA”“云计算"直接构成软件架构设计的技术底座,与后续"系统架构设计”“企业应用集成”“软件复用"等章节高度关联,论文中常与这些章节联合命题(如"论中间件在系统集成中的应用”“论云计算平台的架构设计”)。
  • 数据通信的"差错控制"与信息系统的数据校验、存储冗余(RAID)等概念一脉相承,理解海明码/CRC 原理有助于理解系统可靠性的量化思维。

历年出题规律与趋势

  • 上午选择题:本章题量稳定且密度高,集中在通信计算、分层模型、IP 编址、差错控制、云计算与中间件等,以"记忆 + 计算"为主,是性价比最高的拿分章之一。
  • 趋势:近年越来越偏重分布式系统、云计算、Web 服务、中间件/构件等工程应用与架构层面内容,纯通信细节(如调幅调频调相、ATM 信元)占比下降但仍有零星出现。
  • 下午案例分析:多以"网络规划方案评审"“分布式架构设计选型”“缓存/文件系统选型"形式出现,考查需求分析与技术选型逻辑;论文则常围绕"SOA/Web 服务”“云计算”“分布式系统设计”"中间件"展开,要求结合项目实例论述。
  • 建议:复习时把本章当作"工具库"而非孤立知识点,重点掌握每个技术"解决什么问题、如何选型、有何权衡",为案例和论文积累可迁移的论证素材。

更多推荐