2025-01-30
低精度训练新范式
微软首发FP4训练框架，在保持BF16精度的同时将显存与能耗减半，为大模型训练成本下降提供可扩展路径，利好国产卡与边缘算力部署。
2024-12-29
大模型极限压缩与低精度训练
腾讯提出LLM量化scaling laws，指出低精度仅对未充分训练模型有效；同期1.58-bit训练GPT-3级模型仅20MB存储、算力降97%，引爆边缘部署与成本革命，预示“超小模型”时代或提前到来。
2024-11-13
Scaling Law受质疑
Ilya公开反思“越大越好”，MIT提出测试时训练、7-8位精度训练等新思路，业界热议大模型扩展法则或遇瓶颈，算力需求与训练策略面临重构，将直接影响芯片、云服务和AI系统架构未来走向。