过去几年,谈到 AI 算力,人们首先想到的是训练:成千上万张 GPU 连成一个集群,连续运转数周,只为产出一个模型。这一阶段塑造了整个行业对算力的想象。但 Qovane 集团的判断是,需求的重心正在发生结构性转移——推理正在超过训练,成为算力消耗的主体。
为什么是现在
模型训练是一次性的投入,推理却是持续的消耗。一个模型训练完成后,只要它被部署进产品、被用户调用,就会不断产生推理请求。当越来越多的企业把大模型接入客服、搜索、编程、设计、内容生产等日常流程,推理的调用量会随着业务规模线性甚至超线性增长。
更重要的是,新一代模型越来越倾向于在回答之前"多想几步"。推理阶段的计算量本身正在变大,单次调用所需的算力不再是一个可以忽略的数字。
推理需求有什么不同
训练与推理对基础设施的要求截然不同:
- 训练追求规模与连续性:大集群、高速互联、长时间稳定运行,任务可以提前排期。
- 推理追求弹性与延迟:请求随业务高峰低谷波动,需要靠近用户、快速扩缩容,并且对每一次调用的成本极其敏感。
- 训练的买家相对集中,推理的买家则分散在各行各业,规模从初创团队到大型企业不等。
这意味着,过去为训练设计的"大而集中"的算力采购方式,并不完全适用于推理时代。企业需要的是能够随开随停、按实际用量计费、并能在不同地区灵活调度的算力。
对企业的三点建议
我们建议正在规划 AI 落地的企业,从三个方面重新审视自己的算力策略:
- 分开规划训练与推理预算。两者的负载曲线不同,适合的采购方式也不同,混在一起只会造成浪费。
- 用利用率而不是单价做决策。推理负载波动大,按需计费往往比长期锁定更划算;而稳定的基础流量适合预留实例。
- 把延迟和地区纳入考量。用户在哪里,推理端点就应该尽可能靠近哪里,同时也要满足当地的数据与合规要求。
Qovane 集团的布局
推理时代需要的是一张能够灵活调度的算力网络,而不是一座孤立的机房。Qovane 集团通过多地数据中心的供给合作,把分散的 GPU 产能整合成统一的资源池,向客户提供按 GPU·小时计费的按需实例、面向稳定流量的预留集群,以及开箱即用的推理端点和生成式接口。所有服务均以美元计价、按服务合同交付。
我们相信,下一阶段 AI 竞争的关键,不只是谁能训练出更大的模型,更是谁能以更低的成本、更稳定的质量,把模型能力持续地交付给每一个用户。这正是 Qovane 集团希望为客户解决的问题。