Linux - Latency(延迟)与Throughput(吞吐)

Latency & Throughput

• Latency (延迟): 发起到完成请求的时间间隔
• Throughput (吞吐): 单位时间内完成的请求数量

$$Throughput \neq \dfrac{1}{Latency} \quad \text{(常见误解)}$$

1. 单核 CPU
2. 多核 CPU：线程并行, Latency 不变, Throughput 随线程数增加
3. 多线程 CPU：利用流水线掩盖延迟, Latency 不变, Throughput 随线程数增加

流水线处理：在访问内存的等待时间中处理其它任务, 延时不变但吞吐量提高

• Web 服务: Task 松耦合, 关注 Latencty

• HPC/AI 应用: Task 紧耦合, 关注 Throughput

• GPU: 关注 Throughput, 通过大量简单的计算单元并行处理数据, 提高吞吐量

• CPU: 关注 Latencty, 通过流水线并行处理数据, 优化延迟

$$Speedup = \dfrac{1}{(1-P) + \dfrac{P}{N}}$$

$P$: 任务并行度, $N$: 核心数

• Memory Wall: 主存读写相较于 CPU 计算速度非常慢, 成为性能瓶颈, 导致计算效率低