DeepSeek 开源推理框架 DeepInfer 和 deepseek-recipe
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
DeepSeek 将内部推理框架 DeepInfer 以 Apache License 2.0 开源，用于支持 V4.1-Flash 模型快速、大规模生成回答。DeepInfer 基于 vLLM，加入优化计算内核、多芯片分布式处理和更快的文本生成技术；DeepSeek 还发布 deepseek-recipe，用于复现官方 API 的 token 处理方式，让自托管部署的行为保持一致。
DeepInfer 与 deepseek-recipe 分别覆盖推理服务和 API token 处理复现，为自托管 DeepSeek 模型提供了降低计算成本的工具。
Deepseek 已根据 Apache License 2.0 开源其内部推理框架 DeepInfer。推理是指训练好的 AI 模型处理请求并生成回复的过程。DeepInfer 是一款服务软件，可让 Deepseek 的 V4.1-Flash 模型快速、大规模地生成回答。
该框架基于 vLLM 构建，采用了经过优化的计算内核、跨多个芯片的分布式处理，以及更快的文本生成技术。未来 Deepseek 模型的代码也将以开源形式发布。Deepseek 还将发布 deepseek-recipe，用于复现官方 Deepseek API 的令牌处理方式，让自托管部署的行为与之保持一致。
Deepseek 的模型本来就非常便宜。DeepInfer 补上了最后一块拼图，让运行这些模型的成本进一步降低。该公司在 X 上表示，目标是“帮助社区降低计算成本、减少能源消耗，并让 AI 更实惠”。但此次发布也加剧了对 OpenAI 和 Anthropic 等西方供应商的定价压力。鉴于中美之间的 AI 竞赛，此举也可能出于政治动机。如果西方 AI 公司未能达到增长目标，这将给美国经济乃至更广泛的领域带来风险。
没有炒作的 AI 新闻 – 由人工精选
订阅 THE DECODER，即可享受无广告阅读体验、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限，以及评论区访问权限。
来源：The Decoder · the-decoder.com