2024-06-26
小模型推理能力跃升
颜水成团队联合南洋理工发布Q*算法，让7B模型推理能力最高提升百倍，已开源；同期Deepseek Coder v2在代码任务上超越Gemini Pro，显示通过算法创新即可打破“参数至上”迷信，为端侧部署与私有化应用提供新范式。
2024-06-25
推理算法革新
昆仑万维Q*、小米SUBLLM等新算法在7B小模型上实现数十倍推理提速，降低算力门槛，为端侧部署与普惠AI奠定技术基础，或改变“大算力+大参数”主流路线。
2024-04-13
大模型架构革新
RWKV新架构Eagle/Finch、谷歌Infini-attention“无限上下文”及GPT-4 Turbo引入Q*，共同掀起Transformer替代与上下文长度革命，显著降低计算与内存成本，为长文档、多轮对话及推理任务打开新天花板，被视作迈向下一代基础模型的关键拐点。