AI快开门

发现最好的AI工具

← 返回话题列表

# SwiftInfer

相关话题

2024-01-09

大模型推理与上下文优化

MIT StreamingLLM、SelfExtended、SwiftInfer等开源方案将大模型上下文扩展至400万token，推理速度提升46%，无需微调即可即插即用，显著降低长文本与多轮对话成本，为端侧和实时应用铺平道路。
长上下文 推理加速 StreamingLLM SelfExtended SwiftInfer
📰 4 条相关内容 查看详情 →