跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

219 条精选近 30 天 212 条共收录 222 条

更新

精选归档 · 第 6 页

10月13日周二第 101–120 条
  1. AWS Machine Learning Blog66

    Amazon Bedrock 如何在泰国、马来西亚、新加坡、印度尼西亚和台湾通过全球跨区域推理访问 OpenAI GPT 模型

    AWS Machine Learning Blog 介绍如何通过 Amazon Bedrock 的全球跨区域推理,在泰国、马来西亚、新加坡、印度尼西亚和台湾调用 GPT-6 Sol、GPT-6 Luna,以及仅从新加坡调用 GPT-6 Astra。

    推荐理由:文章把跨区域推理的调用方式与 IAM、SCP 配置、配额和监控串联起来,呈现了在 AWS 环境接入 GPT-6 的实操路径。

  2. The Decoder58

    Microsoft计划2027年将自研Maia AI芯片扩展至多吉瓦规模

    Microsoft计划从2027年起将Azure Maia AI芯片部署到多吉瓦规模,并让其成为旗下产品的主要推理系统。Maia 200已在美国、欧洲和澳大利亚运行Microsoft Copilot,GitHub Copilot和Foundry计划于年底跟进;Maia 300将于2027年出货,配备8组HBM4、总计288 GB显存和18 TB/s带宽,面向长输入、快速对话和智能体任务。

  3. AWS Machine Learning Blog65

    AWS 教程:在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型

    AWS 介绍如何在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型,提供 OpenAI-compatible 聊天补全接口,并可扩展 SemIf 以返回指定选项的概率和 logits。

    推荐理由:文章对比了 llama.cpp 标准文本生成接口与 SemIf 结构化决策扩展,并用 CPU、GPU 基准数据展示延迟和准确率差异。

10月12日周一
  1. NVIDIA Blog66

    NVIDIA 向 OCP 开放 Vera Rubin 架构,推动 AI 工厂基础设施扩展

    NVIDIA 在 OCP 全球峰会上通过开放 NVIDIA MGX 架构,向 OCP 贡献 Vera Rubin 机架和计算托盘设计,并宣布多项面向 AI 工厂的合作与开源贡献。

    推荐理由:文章梳理了 Vera Rubin 架构、数据中心规范与 DSX 开源组件的协同推进,呈现 AI 工厂从机架设计到电网和运维的基础设施路径。

  2. 财联社电报54

    英伟达与思科推出USFP可插拔光模块外形规格以扩展AI工厂

    英伟达与思科联合推出USFP(超密小型可插拔)光模块外形规格,旨在扩展AI工厂网络规模。USFP支持每通道400Gb/s电信号,单模块容量最高可达12.8Tb/s;相比现有的200Gb/s-per-lane光模块,带宽密度提升4倍,能效提升1.3倍。两家公司正与TE Connectivity和安费诺合作,围绕USFP构建多源硬件生态系统。

  3. 华尔街见闻·要闻48

    英伟达与思科推出 USFP 可插拔光模块规格,以扩展 AI 工厂网络

    英伟达与思科联合推出 USFP 可插拔光模块外形规格,面向扩展 AI 工厂网络。USFP 支持每通道 400Gb/s 电信号,单模块容量最高达 12.8Tb/s;相比现有 200Gb/s-per-lane 光模块,带宽密度提升 4 倍、能效提升 1.3 倍。两家公司正与 TE Connectivity 和安费诺合作,构建多源硬件生态系统。

  4. Investing.com · 股市51

    Microsoft 计划从2027年起大规模部署自研 AI 芯片以降低成本

    Microsoft 计划从2027年起在全球数据中心以多吉瓦规模部署自研 AI 处理器,以减少对第三方硬件供应商的依赖并降低运营成本。Maia 300 将作为内部 AI 应用的主要推理引擎;目前 Maia 200 已在北美、欧洲和澳大利亚处理生产任务,面向 Teams 和 Copilot 工作负载的每瓦输出最高为标准商用 GPU 配置的1.7倍。

  5. 华尔街见闻·要闻36

    均普智能发布工业具身智能全栈平台 Primus Stack

    均普智能发布工业具身智能全栈平台 Primus Stack,覆盖数据采集、模型训练、技能开发到产线交付的全流程。平台由数据采集模块、数据与模型闭环模块、开发套件和自主作业方案组成,是一套“大脑+小脑”协同工作的产品体系,兼顾产线端稳定执行和云端持续进化。