DeepSeek 开源 FlashMLA:高效 MLA 解码新时代
DeepSeek发布的FlashMLA是一款为Hopper GPU设计的高效多头潜在注意力解码内核。它支持BF16计算、采用分页KV缓存技术(块大小64),并在H800 GPU上实现了3000 GB/s内存带宽和580 TFLOPS计算性能。该项目主要优化变长序列推理,可显著降低显存占用和计算开销。FlashMLA的主要应用场景包括大语言模型推理、机器翻译、语音识别和推荐系统等领域。它能加速Transformer计算,提高推理吞吐量,优化长文本处理,降低延迟。该项目受到FlashAttention 2&3和CUTLASS的启发,是2025年AI计算优化领域的重要突破。项目已开源,开发者可通过简单的Python安装命令快速部署使用。这一技术创新将为依赖GPU计算的企业和开发者带来显著的性能提升,推动AI计算效率迈向新的高度。