内存压缩 - AI话题

2024-06-14

PyramidKV、Depth Anything V2等研究把大模型KV缓存压缩至2.5%仍保持90%性能，深度估计与推理能耗同步下降，为端侧部署和实时应用打开新空间。

AI快开门