资讯AI 辅助草稿

动态OpenAI 发布 gpt-oss-20b,16GB 内存即可在边缘设备运行

本站 · 发布于 2026-11-08 09:02

OpenAI 发布 gpt-oss-20b,16GB 内存即可在边缘设备运行

2025 年 8 月 5 日,OpenAI 发布了 gpt-oss 系列开源权重语言模型,包括 gpt-oss-120b 和 gpt-oss-20b。两款模型采用 Apache 2.0 授权,是 OpenAI 自 GPT-2 以来首次释放的开源权重语言模型。其中 gpt-oss-20b 总参数量 210 亿,每个 token 激活 36 亿参数,仅需 16GB 内存即可在边缘设备上运行。

架构与效率

gpt-oss-20b 基于 Transformer 架构,采用专家混合(MoE)技术减少处理输入时激活的参数量。模型使用交错的密集与局部带状稀疏注意力模式,类似 GPT-3,并采用分组查询注意力,组大小为 8。位置编码使用旋转位置嵌入(RoPE),原生支持最长 128k 上下文。这些设计针对推理与内存效率做了优化。同系列的 gpt-oss-120b 总参数量 1170 亿,每 token 激活 51 亿参数,可在单张 80GB GPU 上运行。

性能定位

OpenAI 称 gpt-oss-20b 在常见基准测试中的表现与 o3-mini 相近,适合设备端应用、本地推理,或在无需昂贵基础设施的情况下快速优化。gpt-oss-120b 在核心推理基准上趋近 o4-mini。两款模型在工具使用、少量示範函数调用、思路链推理以及 HealthBench 测试中表现突出,部分结果超过 OpenAI o1 和 GPT-4o 等专有模型。训练过程结合了强化学习与 OpenAI 内部模型(包括 o3)所启发的技术。

接口与定制

gpt-oss-20b 兼容 OpenAI 的 Responses API,针对智能体工作流程设计,具备指令遵循、工具运用(如网络搜索或 Python 代码执行)和推理能力。模型支持调整 reasoning_effort 参数,以适配不需要复杂推理的任务。它完全可自定义,支持完整思路链(CoT)和结构化输出。OpenAI 同时强调,gpt-oss-20b 在 Tau-Bench 智能体评估套件中的思路链推理结果可见。

对于需要在本地或边缘环境部署推理模型的开发者,gpt-oss-20b 把激活参数压到 36 亿、内存门槛降到 16GB,同时保留 128k 上下文和工具调用能力。OpenAI 上一次开源权重语言模型还是 2019 年的 GPT-2,间隔六年之后,gpt-oss-20b 的发布让消费级硬件上运行一个接近 o3-mini 水平的模型成为可选项。

来源

  1. 隆重介紹 gpt-oss | OpenAI