跳到正文
NVIDIA Newsroom· Dion Harris·· 8 天前精选AI 评分64

OpenAI 发布 GPT-6 Astra Ultrafast,NVIDIA Blackwell GPU 加速下 token 生成速度最高提升 8 倍

How NVIDIA GPUs Help Accelerate OpenAI’s GPT-6 Astra Ultrafast

AI 导读

GPT-6 Astra Ultrafast 现已在 OpenAI API 及面向符合条件的 ChatGPT Work 与 Codex 用户开放,运行在 NVIDIA Blackwell GPU 上。

AI 生成摘要 · 以原文为准

关注理由

OpenAI 基于 NVIDIA Blackwell 推出 Ultrafast 推理模式,展示了模型厂商通过自研推理优化榨取 GPU 硬件性能的路径,对算力平台软件生态有意义。

正文 · AI 翻译

运行在 NVIDIA Blackwell GPU 上的 GPT-6 Astra Ultrafast 现已在 OpenAI API 中推出,并向符合条件的 ChatGPT Work 和 Codex 用户开放。 

借助 OpenAI 模型利用 NVIDIA Blackwell 架构能力的推理优化,Ultrafast 的 token 生成速度最高比 Astra Standard 模式快 8 倍。对开发者而言,更快的生成速度可以缩短编码智能体的编辑-测试-调试周期,减少在工具调用之间生成响应所花费的时间,并让交互式应用感觉更加灵敏。 

当快速响应在整个工作流中反复出现时,它的价值最为明显:智能体编写代码、使用工具、检查结果并决定下一步做什么。Ultrafast 将 Astra 的能力带入了这些对时间敏感的循环中。NVIDIA AI 基础设施帮助 OpenAI 在开发者需要时提供更有用的模型输出。 

“NVIDIA 在工具和文档方面的深入投入,使我们能够让自己的模型在为 Blackwell 和 Rubin GPU 编程方面表现格外出色,”OpenAI 推理负责人 Philippe Tillet 表示。“Astra 能够将这种知识转化为高性能内核,使 NVIDIA 硬件在延迟、吞吐量和成本的整个前沿领域都极具吸引力。有了 Astra Ultrafast,这意味着在智能体编写代码、使用工具和处理复杂任务时,模型响应更加迅速。”

性能持续提升

模型部署之后,性能提升并不会停止。OpenAI 正在使用自己的模型来帮助改进运行在 NVIDIA GPU 上的推理软件,利用该平台的可编程性来测试和实现改进。这项持续的工作可以让模型响应随时间推移变得更快速,并让已部署的基础设施更具生产力。 

“我们与 NVIDIA 的合作正在帮助我们让 AI 更快、更有用,”OpenAI 算力首席技术官 Uday Ruddarraju 表示。“我们使用内部模型来优化 NVIDIA GPU 上的推理,而 NVIDIA 的可编程性帮助我们实现了 Astra Ultrafast 背后的加速。”

可编程的 NVIDIA 平台让开发者和研究人员随着模型的演进,在训练、推理和强化学习之间复用基础设施。这种灵活性帮助团队根据需求变化重新调配算力资源,提高利用率并避免为每个工作负载过度配置。

开发者今日即可通过 API 使用 GPT-6 Astra Ultrafast。请参阅 Ultrafast 指南 了解访问方式、定价和实现细节。

来源:NVIDIA Newsroom · blogs.nvidia.com