2024-07-09
长上下文与记忆机制创新
Memory3、EAGLE-2、Samba等通过外挂记忆、无损加速及混合状态空间方法，实现更长上下文、更低成本推理，为端侧和无限长度应用打开新路径。
2024-02-01
大模型推理与多模态突破
NVIDIA TensorRT-LLM、无注意力Eagle7B、LLaVA-1.6、MM-Interleaved等框架与模型相继发布，在推理速度、多模态理解、OCR等方向刷新SOTA；蚂蚁开源AI Infra实现大模型训练“自动驾驶”，降低行业门槛。