Revisiting Pipeline Parallelism for LLM Serving

研究问题

相比TP，PP明显拥有更低的通信量，甚至可以使用PCIE进行通信，为什么最终的吞吐率以及性能，比不上TP？

发现PP的情况下，流水线气泡问题大大降低了PP的通信优势。

本工作旨在重新研究PP，以解决气泡问题。

分析与动机

分别针对prefill以及decode进行分析，如下图可以发现prefill阶段以及decode阶段随着不同变量的变化，指标增速和增量都不同。这也导致了其最后需要将两种分开解决

方法

动态Chunked Prefill + Delay Scheduling

1. chunked prefill

chunk size对请求的影响

最终他们提出一种基于历史数据预测的方式来动态调度chunk size

2. delay scheduling

通过将某些decode过程延迟调度以填满气泡。

实验设置

看法

只研究了Qwen2.5，dense架构，比较纯粹的解决了PP的气泡问题。

看的时候是想到AFD也是类似的问题，不知道是否可以加进来一起解决。