CheaperGen

推理

官方模型。速度更快,价格更低。

每个价格背后都有三项能力协同运作:与实验室直接合作、使用自有 GPU 推理服务运行开源模型,并通过路由器将每个请求发送到速度最快、成本效益最高且运行正常的路由。

款官方模型
45
最高低于官方目录价
93%
官方实验室渠道
3

支柱 03 · 自动路由

每个请求都经由 最佳路由。

我们的路由器位于每个模型请求的入口。它会实时了解各路由的运行状态,根据你的具体请求评估速度和成本,并在性能下降时自动切换。

POST /v1/run路由器为每个请求选择最佳路由合作伙伴渠道◇我们的 GPU算力池 A◆合作伙伴渠道◇我们的 GPU算力池 B◆Delivered
◇ 官方合作渠道 · ◆ 我们自有的 GPU 算力池图示仅供说明

支柱 02 · 自有 GPU 推理服务

开源模型,速度提升数倍。

开源模型由我们自行运行推理服务:优化注意力机制和内核,使用已预热、无需加载的 GPU,并针对每个模型调优服务。同一开放权重模型原本需要几分钟,现在几秒即可完成;每秒 GPU 算力成本也更低。

预热算力池,告别冷启动

模型会预先加载到已启动的 GPU 上,因此任务无需等待加载权重和预热,提交后即可开始生成。

针对每个模型调优

根据工作负载调整批处理、并发、内存和调度方式,以更少的 GPU 运行时间生成相同的模型输出。

Batching
Concurrency
显存布局
调度窗口

充分利用 GPU 的调度

调度器会按模型、分辨率和时长连续安排任务,让同一批硬件减少空闲时间、完成更多工作。

GPU 推理团队

研究人员打造,工程师协作。

我们的推理团队成员来自 Stanford、MIT、UCLA、清华大学和 NVIDIA,专注于 GPU 系统、推理优化和模型服务,为我们自有的开源模型 GPU 推理服务提供技术支撑。

  • GPU 系统
  • 推理优化
  • 模型服务
  • Stanford University
  • Massachusetts Institute of Technology
  • University of California, Los Angeles
  • Tsinghua University
  • 团队成员来自 NVIDIA

这些标志表示团队成员曾在相关高校就读或在相关公司工作,并不代表这些高校或公司为我们背书或与我们合作。所有商标均归其所有者所有。

支柱 01 · 官方合作

实验室价格。模型原样提供。

我们与 ByteDance, MiniMax 和 Alibaba 直接合作,因此能以最低的合作伙伴和渠道价格提供其发布的原版模型。

算算能省多少

具体来说,你的账单会怎样。

选择模型和生成量。所有价格均来自实时目录,并与官方目录价并列显示。

模型
分辨率

拖动滑块或选择模型,试算自己的用量。

Wan 3.0(720p):每月使用1,000 分钟视频,按官方目录价计价为$6,000,在 CheaperGen 则为$4,542,每月可节省$1,458。

逐项对比

直接使用官方服务,还是CheaperGen

与直接调用各实验室 API 相比,使用 CheaperGen 有何不同。
对比项直接使用各实验室 APICheaperGen
模型每个账户和 API 只接入一家实验室一个 API 接入来自 13 家实验室的 45 款模型
价格官方目录价最高低于官方目录价 93%
路由与故障切换自行构建和维护每个请求均自动处理
Serving实验室的标准 API合作渠道 + 我们自有的调优 GPU 算力池
计费每家实验室分别签合同并收取发票统一预付余额,按实际用量付费

模型相同。账单更低。

一分钟即可创建 API 密钥,也可以联系我们洽谈批量用量和专属算力。