跳到正文
TechCrunch · AI· Julie Bort·· 4 小时前精选AI 评分64

Amazon 发布 TorchNeuron,借 Trainium 挑战 Nvidia 的软件优势

Amazon is taking its biggest shot at Nvidia yet with new TorchNeuron dev tool

AI 导读

Amazon Web Services 发布 TorchNeuron,允许开发者仅修改一行配置、无需重写代码,就将 PyTorch 应用运行在 Trainium 上。Amazon 还将向 PyTorch 主项目贡献代码,推动其减少对特定芯片的绑定;AWS称 Deepgram 使用 Trainium 后每美元可处理多 70% 的音频。

推荐理由

文章既交代了 TorchNeuron 将 PyTorch 应用迁移到 Trainium 的具体方式,也梳理了 Amazon 试图削弱 PyTorch 对 Nvidia 依赖的技术与商业路径。

正文 · AI 翻译

周一,Amazon Web Services 发布了一款名为 TorchNeuron 的工具,让 AI 初创公司能够轻松将其 AI 应用迁移到 Amazon 的 AI 芯片 Trainium 上。此举也让 Amazon 直接挑战了 Nvidia 的软件优势;正是这种优势让 Nvidia 成为 AI 应用硬件的默认选择,并推动其成为首选 AI 硬件供应商。

据 Amazon 称,TorchNeuron 可与 PyTorch 配合使用。PyTorch 是一款免费、开源的工具包,开发者用它来构建、训练和运行 AI 模型。只需更改一行配置,使用 PyTorch 编写的 AI 应用就能在 Trainium 上运行,无需重写代码。

Amazon 表示,约 85% 的 AI 应用是用 PyTorch 编写的。PyTorch 最初由 Facebook 开发,但自 2022 年起,它成为 Linux Foundation 的一部分,由该基金会负责维护开源项目。多年来,Nvidia 一直确保其 CUDA 软件——也就是让应用能够在 Nvidia GPU 及其其他硬件上运行的软件基础设施——可以无缝支持使用 PyTorch 编写的 AI 应用。因此,Nvidia 硬件如今已深度融入该工具包,基本上成了默认选择。

TorchNeuron 基于 PyTorch 改编而来,因此熟悉 PyTorch 的开发者已经知道如何使用它。Amazon 并非第一家试图让自家芯片轻松接入该平台的公司。PyTorch 用户也可以通过简单修改配置,将应用迁移到 AMD GPU,甚至 Apple 芯片上。

不过,Amazon 认为,迁移到 Trainium 不仅简单,还能让 AI 初创公司使用 Amazon 的整个云平台。不出所料,AWS 声称,对于初创公司而言,这比使用新兴云服务商更合适;其中许多服务商与 Nvidia 及其硬件绑定,例如 Coreweave、Nebius 和 Firmus。

AWS Annapurna Labs(负责制造 Amazon 定制芯片的部门)技术软件副总裁 Colin Brace 通过电子邮件告诉 TechCrunch:“你是在 AWS 上构建应用,而不是押注于一家单一用途的计算服务提供商,然后手忙脚乱地围绕它搭建其他一切。”他接着说:“AWS 已经具备从原型开发到投入生产所需的基础设施,让创始人能够快速行动,并在需要时扩大规模。”

AWS 表示,由于同一款芯片既负责训练(教会 AI 模型),也负责推理(让训练完成的模型投入使用,例如回答用户的问题),并且与初创公司所需的云基础设施紧密集成,因此即使 AWS 的单 token 价格不是最低,其云服务仍能为初创公司省钱。

Brace 表示:“Trainium 的价值在于价格与性能的结合,以及它能在同一平台上完成训练和推理,从而改善整个工作负载的经济效益。看看 Deepgram——他们通过原生 PyTorch 支持迁移到了 Trainium,以生产级精度实现了每美元处理音频量提升 70%。”Deepgram 是一家 AI 语音应用提供商,也是 ElevenLabs 的竞争对手。

但 Amazon 并不满足于仅仅为 PyTorch 应用开发者提供一个轻松迁移到自家云平台的选项。

Amazon 还表示,正推动 PyTorch 减少对 Nvidia 的默认依赖,并将为此贡献代码,将其纳入 PyTorch 主项目。在宣布推出这款新工具的博客文章中,该公司写道:

“Amazon 的做法并不局限于自家硬件。该公司正向 PyTorch 上游贡献代码变更,与 PyTorch 社区合作,移除将该框架与特定芯片绑定的代码。我们的目标是让 PyTorch 对整个开发者社区而言更加不依赖特定硬件,而不只是方便 Trainium 用户。”

虽然这种策略无疑有利于那些销售可与 Nvidia 竞争的硬件和云服务的厂商,但 PyTorch 的意义之一,就是隐藏让 AI 代码在硬件上运行时那些令人头疼的难题。我们还得拭目以待:像 Amazon 承诺的那样,将 Nvidia 排除在外能否为开发者带来更多选择和更实惠的方案,还是只会带来更多配置上的麻烦。

无论如何,如果 Amazon 成功让 PyTorch 与 Nvidia 深度脱钩,这对这家 GPU 巨头造成的影响可能远不止应对芯片竞争对手那么简单。正如 Brace 所说:“真正重要的是打破这种锁定,让开发者终于能够真正有所选择。”

当您通过我们文章中的链接购买商品时,我们可能会获得少量佣金。这不会影响我们的编辑独立性。

来源:TechCrunch · AI · techcrunch.com