AI 工程实践
gpt-oss 首发复盘:80GB 是权重门槛,不是 128K 并发的生产显存答案
gpt-oss 把可商用的 Apache-2.0 权重、稀疏 MoE、原生 MXFP4 与 Harmony 推理协议交给部署者,但 80GB/16GB 只说明一种权重装载入口;生产显存还要支付 KV Cache、并发、工作区、运行时和安全余量,开放权重也不等于完整开源或现成托管服务。
Tag
共 5 篇文章。
AI 工程实践
gpt-oss 把可商用的 Apache-2.0 权重、稀疏 MoE、原生 MXFP4 与 Harmony 推理协议交给部署者,但 80GB/16GB 只说明一种权重装载入口;生产显存还要支付 KV Cache、并发、工作区、运行时和安全余量,开放权重也不等于完整开源或现成托管服务。
模型原理与推理
Qwen3 首发的工程价值不只是开放八组权重,而是把 thinking 与 non-thinking 放入同一系列,并提供从 0.6B dense 到 235B MoE 的部署梯度;生产收益取决于任务路由、完整 TCO 和回归评测。
模型原理与推理
DeepSeek-V3 报告 671B 主模型总参数、每 token 约 37B 激活参数,以 MLA、MoE、FP8 和通信优化构成效率路线;但少量激活不消除全量权重、KV、跨卡通信和服务运维,2.788M H800 GPU-hours 也不是全部研发成本。
模型原理与推理
DeepSeek-V2 把 KV Cache 和激活参数直接带入产品成本讨论;MLA 与 MoE 是值得验证的架构信号,但论文节省不能未经同栈压测就写成业务账单节省。
模型原理与推理
1M token 实验窗口证明长上下文成为新的系统变量,却没有证明整库直塞比检索更准、更便宜;选型必须比较完整任务的召回、干扰、延迟和缓存复用。