跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

4 条精选近 30 天 3 条共收录 54 条

更新

部署工程的精选

11月14日周六第 1–4 条
  1. 量子位78

    DeepSeek 开放全家桶应用 API,语音接口首次开放并打五折

    DeepSeek 宣布正式开放全家桶应用 API,联网搜索、深度思考搜索、文件上传、链接阅读等功能均可通过独立接口单独调用、分别计费,语音识别与语音合成接口首次加入开放行列。

    推荐理由:原文列出各接口的独立计费与语音五折价格,并对比国外主流语音API,便于开发者估算接入成本。

  2. AWS Machine Learning Blog71

    AWS 发布新一代 AgentCore runtime,会话启动提速至多 15 倍

    AWS 发布 Amazon Bedrock AgentCore runtime 更新,每个会话仍运行在独立的 Firecracker MicroVM 中,会话启动速度提升至多 15 倍、算力扩展至 4 倍、运行效率提升至多 68%。

    推荐理由:官方给出会话启动、算力上限与内存占用的具体变化,可据此判断智能体规模化运行的成本与隔离取舍。

11月11日周三
9月29日周二
  1. Ollama Blog72

    Ollama 0.35 支持 Jev 风格决策模型

    Ollama 发布 0.35 版本,新增对基于 TypeSafe Jev API 的决策模型的支持,通过 /v1/systemone 端点一次请求回答一组命名问题。官方称本地运行无需额外费用且延迟更低,Nimble 9B 在 M5 Max 上平均每次决策耗时 91ms。目前可拉取 nimble、tev1 和 tev1:0.8b 三个模型,适用于工单分流、模型路由和内容或安全审核等场景。

    推荐理由:原文给出本地决策模型的延迟数据、可用模型清单和请求示例,便于判断这类接口适合哪些实时决策场景。