跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

13 条精选近 30 天 12 条共收录 39 条

更新

部署工程的精选

今天10月8日周四第 1–13 条
  1. AWS Machine Learning Blog72

    AWS 在 Amazon Bedrock 和 Claude Platform on AWS 上推出 Claude Haiku 5.5

    AWS 宣布 Claude Haiku 5.5 已在 Amazon Bedrock 和 Claude Platform on AWS 上可用。Anthropic 称该模型是 Claude 5.5 系列中最快、最高效的模型,面向 subagents 和高容量、成本敏感型工作,多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:原文说明了 Haiku 5.5 在 Bedrock 的可用方式和成本定位,便于评估其在高频子任务中的适配度。

10月7日周三
10月6日周二
  1. Mistral AI84

    Mistral AI 发布 Mistral Large 4 公共预览版

    Mistral AI 发布 Mistral Large 4 公共预览版,这是一个 1 trillion-parameter 原生多模态模型,拥有 52 billion active parameters,可在 Mistral Studio 试用 preview API,并计划在本月底发布权重。

    推荐理由:原文披露了参数规模、开放权重计划和多项基准结果,可用于比较欧洲开放权重模型的能力定位。

10月2日周五
9月25日周五
  1. GitHub Blog · AI & ML65

    GitHub Copilot 解释为什么 chat 常常不是合适的 UI

    GitHub Blog 介绍 GitHub Copilot app 的 canvas,认为许多 AI 任务不应只依赖 chat 作为交互界面。canvas 是运行在 GitHub Copilot app 内的小型全栈应用,可与 GitHub Copilot agent 双向通信,也能调用第三方 API 或在本机执行代码。

    推荐理由:文章用 GitHub Copilot canvases 示例说明,任务型自定义 UI 可减少把 Agent 当工具本身的 token 消耗。

9月24日周四
  1. GitHub Blog · AI & ML61

    GitHub Copilot app 如何渲染超大 pull request

    GitHub Blog 介绍了 GitHub Copilot app 为超大 pull request 重建视图的工程方案。团队用一个包含 2,200 个文件、超过 100 万行变更、400 多条行内评论的开源 pull request 压测,通过代码行虚拟化、评论动态高度测量、滚动锚定、增量数据管线和自动化测量循环,让大 diff 与多线程评论保持可滚动和可阅读。

    推荐理由:原文拆解了大规模 diff 与评论渲染的工程取舍,可迁移到其他长列表和动态内容界面。

9月9日周三
8月20日周四
  1. Mistral AI71

    Mistral AI 推出 Agentic Search,用于提升企业 AI 系统检索准确性与效率

    Mistral AI 推出 Agentic Search,这是一个检索层,可让 AI 系统在复杂文档和数据源中搜索、导航、阅读并验证信息。它通过 Mistral Search Toolkit 和 Libraries 提供,使用 search、open、navigate、read、grep 五个工具,并内置于 Studio 和 Vibe。

    推荐理由:原文给出工具接口、适用场景和基准数据,可用于比较 Agentic Search 与传统 RAG 的取舍。