2024-12-03
模型架构与训练效率革新
Liquid STAR、MoT、Nous分布式训练、vLLM推理框架等新架构与系统层创新集体出现，打破Transformer与超级集群垄断，小参数模型亦可逼近GPT-4o，预示“效率优先”的新竞赛周期。
2024-05-15
AI for Science 与模型创新
MIT 团队借 KAN 网络发现全新物理方程，纽约大学研究质疑思维链必要性，同时 RNA 语言模型、集值系统辨识等成果涌现，显示 AI 在基础科学与模型架构层面的持续突破。
2024-04-12
大模型架构革新
谷歌Infini-Transformer实现“无限上下文”，北大PiSSA改进LoRA初始化，RWKV等新结构挑战Transformer霸权，显著降低长文本与微调成本，为大模型轻量化与长记忆应用铺平道路。