2024-10-04
RNN架构革新
Bengio团队提出精简RNN新架构，在保持线性复杂度的同时性能对标Transformer，为边缘端和超长序列任务提供高效替代方案，或冲击当前主流注意力机制。
2024-09-01
大模型推理与芯片竞速
Cerebras发布1800 tokens/s的Llama3.1 8B推理架构，速度较GPU提升20倍；Mamba作者把Llama3蒸馏成混合线性RNN，兼顾效率与效果。专用芯片+新型架构双轮驱动，推理成本有望再降一个量级，为大模型普及铺路。
2024-07-09
Transformer挑战者频现
斯坦福/UCSD提出TTT架构、新RNN及Samba等替代方案，试图打破Transformer垄断，标志大模型基础架构进入多元竞争时代，可能重塑未来五年AI硬件与软件栈。