2024-04-13
大模型架构革新
RWKV新架构Eagle/Finch、谷歌Infini-attention“无限上下文”及GPT-4 Turbo引入Q*，共同掀起Transformer替代与上下文长度革命，显著降低计算与内存成本，为长文档、多轮对话及推理任务打开新天花板，被视作迈向下一代基础模型的关键拐点。