LLM系统 - AI话题 - AI快开门

2025-05-05

推理效率新范式

伯克利Letta提出“睡眠时计算”，让LLM在空闲期预先生成推理链，显著降低在线延迟；若与边缘小模型结合，有望打造“随时可用”的低功耗智能体。

睡眠计算推理加速边缘AI LLM系统延迟优化