模型部署与推理
Llama 3.1 开放权重之后：405B、蒸馏与私有部署的真实边界
以 2024 年 7 月 23 日至 25 日的一手资料为边界，拆解 Llama 3.1 的 8B、70B、405B、128K 上下文与许可证，给出开放权重模型从下载到生产验收的工程路径。
时间与证据
本文研究的事件是 Meta 在 2024 年 7 月 23 日公开 Llama 3.1 的模型权重、代码与配套材料。信息边界固定到 7 月 25 日；文章发布日期与更新日期见页首。今天已经知道的后续版本、视觉模型和生态工具，不用于解释当时可交付范围。
同期证据由三部分组成：Meta 的发布页、发布页在 7 月 25 日保存的历史快照，以及 7 月 24 日固定 commit 791337b9a699459f210848d727457aa885004269 下的模型卡。发布页是会继续更新的网页，因此它与同期 archive 配对；模型卡链接固定到完整 40 位 commit，避免当前仓库内容覆盖首发语境。
当时可以确认：Llama 3.1 提供 8B、70B、405B 三种规模的预训练和指令模型，都是文本输入、文本与代码输出；模型卡列出的上下文长度是 128K，官方支持八种语言。Meta 还明确修改许可证，使开发者可以使用 Llama 模型输出改进其他模型，为合成数据和蒸馏打开更明确的产品路径。不能从这些事实推出 Llama 3.2 后来的视觉能力已经存在，也不能把“权重可下载”自动改写成“无条件开源软件”。
本文证据等级为 sourced。我核验了公告、历史快照和固定模型卡，但没有在本文下载权重、部署推理服务或运行业务评测。因此所有能力与训练说明都写成 Meta 当时的披露；显存、吞吐和准确率没有本站实验结果。
当时发生了什么
开放的是模型资产，不是完整生产系统
Llama 3.1 的重要性不只是多了一个 405B 模型，而是同一模型家族覆盖了从边缘候选到大型教师模型的不同层级。8B 可以进入单机或端侧验证，70B 是质量与基础设施之间的中间选择，405B 则为高质量生成、评测基准候选、合成数据和蒸馏提供了新的开放权重上限。三者共享模型家族并不意味着可以用同一套成本假设上线。
Meta 报告 405B 使用超过 15 万亿 token 训练，并把训练规模推进到一万六千多张 H100。模型卡把它标为 405B 参数、128K 上下文。仅以 4050 亿参数乘以每参数 2 字节进行 BF16 名义权重估算，就约为 810 GB；这只是静态权重算术，不含运行时缓冲、KV cache、通信和服务冗余，也不是本文实测。即使量化降低权重占用，长上下文和并发仍会消耗额外显存。开放权重消除了“只能调用单一托管 API”的限制，没有消除算力约束。
128K 是最大窗口声明，不是知识库质量保证
128K 上下文扩大了长文摘要、多文档问答和代码库分析的方案空间，但窗口大小不是检索正确率。把全部合同、手册和聊天记录直接塞入上下文，会引入无关信息、位置偏差、重复片段、权限混合和更高推理成本。生产 RAG 仍需文档解析、切分、索引、租户过滤、引用、版本和离线评测。
同理，“八种正式支持语言”是模型覆盖声明，不是任意行业术语和地区表达都已达到业务标准。多语言客服需要分别建立目标语言测试集，检查事实正确率、拒答、语气、实体保留和升级人工的条件。不能用英文通用榜单代替中文订单问题或德语保修条款的验收。
合成数据与蒸馏改变了资产关系
Meta 在公告中把 405B 的合成数据生成和模型蒸馏列为重要用例，并说明许可证允许使用 Llama 输出改进其他模型。这使“用大型模型生产候选样本，再训练更小模型”成为可以认真评估的工程路线。但许可证允许并不证明数据质量，也不证明蒸馏后模型自动继承教师能力。
合成数据管线至少要记录生成模型版本、prompt、采样参数、来源数据许可、过滤规则、人工抽检、训练集与评测集隔离。若教师输出包含事实错误、风格偏差或测试题泄漏，小模型会以更便宜的方式复制问题。真正资产是经过验证的数据与评测体系，不是一次批量调用生成的文本。
“开放权重”要与许可证逐项对齐
模型卡指向自定义的 Llama 3.1 Community License，并同时受 Acceptable Use Policy 约束。企业需要检查模型与衍生物分发时的许可证副本、归属和命名要求，以及适用的用户规模条款；还要区分模型权重许可、推理代码许可、训练数据权利、生成内容权利和第三方部署框架许可。
因此本文使用“开放权重”，不把它简化成 OSI 意义的“开源软件”。私有部署也不是许可证豁免：不向外分发可能减少部分义务，但 SaaS、模型改造、输出再训练、品牌展示和下游交付仍应由法务结合真实使用方式确认。
任务判断
假设一家跨境设备厂商要建设售后知识助手：知识库包含内部维修手册、历史工单和各国保修政策；系统需要用中文、英语、西班牙语回答，必须引用依据，涉及退款或安全事故时转人工。团队希望用 Llama 3.1 私有部署，以避免把维修数据发送到外部 API。
这个需求不应先问“405B 是否最强”，而应先定义一个可验收任务集：至少覆盖常见问答、跨文档冲突、过期政策、无答案、权限隔离和高风险转人工。每个样本记录允许检索的文档版本、关键事实、期望引用和禁止动作。然后让 8B、70B、托管 API 基线在相同检索结果上运行，只有质量差距证明有必要时才进入 405B 或蒸馏路线。
首轮决策可以按以下顺序执行：
- 用规则检索或现有客服流程建立非模型基线，测人工耗时、命中率和升级率。
- 固定 200 至 500 个去标识化真实问题，按语言、风险和文档长度分层。
- 分别测检索召回、答案事实正确率、引用正确率、拒答和 P95 延迟，不只看流畅度。
- 先验证最小可行模型；若 8B 不足，再测试 70B，而不是默认把最大模型放入每次请求。
- 只有在教师模型明显提升且样本可自动或人工验证时，才建设合成数据与蒸馏管线。
- 许可证、数据保留、模型文件来源和供应链哈希必须在性能验收之前完成。
若任务主要是高频模板查询，检索与规则已经足够，部署 405B 很可能没有经济意义。若任务低频但单次错误损失很高，模型也不应独立决策；它更适合生成带引用的草稿，由工程师或客服确认。
工程影响
从后端服务迁移到模型服务
全栈工程中的 API、缓存、数据库和队列能力可以直接迁移，但对象发生了变化。模型网关负责版本、路由、限流和回退；推理调度负责批次、KV cache 和多卡拓扑；知识库负责文档版本与权限；评测平台负责 prompt、检索和模型回归。模型响应返回 200 不代表业务成功，必须把引用、权限和最终工单状态作为权威证据。
一个可维护的路由策略不是“所有请求用 70B”，而是按任务风险与难度分层：确定性查询走数据库或搜索；常规摘要走小模型；复杂跨文档综合才进入更大模型；任何高风险决定进入人工队列。路由条件、回退原因和模型版本写入审计，避免成本升高后无法解释。
部署成本要看完整账单
自托管总成本至少包括 GPU 或加速器、存储、网络、工程维护、监控、容量冗余、安全补丁、故障恢复和低利用率。API 成本则包括 token、速率限制、出站网络、供应商切换和数据治理。比较时应使用“每个通过业务验收的任务成本”，而不是每百万 token 单价或 GPU 每小时价格。
长期上下文尤其需要把输入长度分桶。若 P95 请求从 8K 增长到 80K，吞吐和延迟可能发生非线性变化；没有在目标硬件、量化方式、并发和上下文分布下压测，不能引用模型参数量推导生产容量。
供应链与可回滚性
生产环境应固定模型文件哈希、tokenizer、推理框架、量化产物、CUDA/驱动和启动参数。模型卡的发布日期不能替代实际下载资产的版本证明。升级时先跑离线回归与影子流量，保存前后差异和失败样本；出现拒答退化、引用错误或资源峰值时，可以回滚到上一个完整组合，而不是只回滚应用代码。
商业价值
可能付费的客户不是“想拥有一个大模型”的团队，而是拥有敏感数据、稳定任务量和明确服务成本的组织，例如制造售后、内部研发知识库、私有代码助手和受监管文档检索。开放权重增强的流程是数据不出域、模型定制、供应商可替换和离线批处理；它不自动替代业务专家与数据治理。
收益成立需要同时满足：目标任务质量达到人工可接受阈值；任务量足以摊薄部署与运维；私有数据确实不能或不宜进入外部服务；模型升级和故障可以由团队维护。成本主要来自算力、工程、数据清洗、评测和人工复核，而不只是权重下载。
建议把商业假设固定为 90 天试点：前 30 天完成数据治理与离线基线，中间 30 天影子运行，最后 30 天只开放低风险回答。若引用正确率低于 98%、高风险问题漏转人工超过 0 次、P95 延迟超过既定客服等待阈值、单位合格答案成本高于现有流程，或许可证审查无法通过，就停止扩大部署。这些阈值是未来项目的验收设计，不是本站已经获得的结果。
不应采用的场景包括任务量极低、输入可直接使用搜索解决、缺少可维护 GPU 团队、无法建立评测集，或错误会直接改变用户法律与财务权益。此时托管模型、传统搜索或人工流程可能更稳健。
局限与风险
第一，本文没有独立复现 Meta 报告的 Benchmark、训练规模或多语言效果；它们不能当作本站性能结论。第二，T+2 材料只描述 2024 年 7 月 25 日前的状态，后续模型、工具和许可解释需要重新核验。
第三，长上下文可能放大敏感信息混入、提示注入与权限穿透。检索结果必须在进入模型前完成租户和资源过滤，不能指望 system prompt 隐藏无权访问的文本。第四，合成数据可能造成偏差循环、版权和个人信息风险，必须保留来源与删除路径。
第五，自托管提高控制力，也把漏洞修补、模型文件安全、推理服务暴露、日志脱敏和灾难恢复责任交给使用方。所谓“数据不出本地”只有在网络、遥测、对象存储、监控和备份全部核验后才成立。
面试表达
30 秒结论： Llama 3.1 的关键不是单独一个 405B，而是 8B、70B、405B 同时开放，统一到 128K 与多语言文本能力，并明确支持用输出改进其他模型。开放权重扩大了私有部署、合成数据和蒸馏空间，但上线仍要经过许可证、权重与运行时资源、数据权限和业务评测四层验证。
3 分钟展开： 我不会按通用榜单直接选 405B。我会先建立带引用、拒答和权限样本的任务集，在相同 RAG 上比较规则基线、8B、70B 和托管模型；以目标任务准确率、P95、单位合格答案成本和故障恢复做决策。405B 可以作为教师或高质量候选，但其静态 BF16 权重仅名义估算就约 810 GB，激活计算减少不了全部权重存储、KV 和多卡通信。许可证还是自定义 Community License，不能把可下载等同于没有商业义务。
若追问“128K 是否可以替代 RAG”，答案是否定的。上下文窗口解决一次能放多少 token，RAG 解决从哪个版本、哪个租户、哪份权威文档选证据；二者是不同问题。
复盘
站在 2026 年回看，Llama 3.1 给工程团队留下的长期方法不是“开放模型必然追平闭源”，而是把模型能力拆成可替换资产：权重、数据、推理框架、评测和业务工作流。只要这些层有清晰契约，团队可以在模型变化时保持系统稳定。
当时最值得保持克制的判断是：大型开放权重确实扩大选择，但选择增加不等于总成本下降。真正可积累的护城河来自高质量任务集、数据权限、合成数据过滤、路由与回滚，而不是拥有最大模型文件。
下一步实验应在固定硬件上比较一个小模型和一个中型模型，公开上下文分布、量化方式、并发、P50/P95、正确率、引用率和失败样本。完成后才可把本文从 sourced 升级为覆盖明确环境的 reproduced。
方法披露
本文使用 AI 工具协助整理同期材料、检查术语边界和草拟结构图；事件日期、固定 commit、来源字段、许可证表述、算术估算、最终判断和文字由作者逐项复核并负责。本文没有执行模型推理，所有未实测部分均明确保留为设计或厂商披露。
修订记录
2024-07-27：初版发布；固定 2024-07-23 至 07-25 的公告、archive 与模型卡，区分开放权重、128K、多语言、合成数据、许可证和生产验收，并加入 90 天可证伪试点条件。
Source ledger
来源账本
以下来源用于核对事实、日期与当时可用范围。厂商自报性能不视为本站独立复现。
讨论