LightLLM：轻量高速的LLM推理服务平台

LightLLM是一个基于Python的LLM（大型语言模型）推理和服务框架，以其轻量级设计、易于扩展和高速性能而闻名：

LightLLM利用了许多备受好评的开源实现优势，包括FasterTransformer、TGI、vLLM和FlashAttention等。

vLLM中采用的 PagedAttention 将KV缓存存储在不连续的内存空间中。虽然PagedAttention在一定程度上缓解了内存碎片，但仍然为内存浪费留出了空间。此外，在处理多个高并发请求时，内存块的分配和释放效率低下，导致内存利用率不理想。

LightLLM 包括以下特点：

1. 三进程异步协作：token化、模型推理和去token化是异步执行的，从而大大提高了GPU的利用率。

2. Nopad（Unpad）：支持跨多个模型的无填零注意操作，有效处理长度差异较大的请求。

3. 动态批处理：请求的动态批处理调度。

4. FlashAttention ：结合FlashAttention（“ FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness“ ，2022