调用托管 API
不用准备服务器。申请 API Key，用 OpenAI 兼容接口直接调用，现有工具改一行 base_url 即可接入。
- 在线提交 API 申请
- 审批通过后在进度页领取 Key
- 调用
/api/v1/chat/completions
Get started
选择使用方式
Custos 提供两种使用方式：调用我们托管的 API，或下载模型部署在自己的服务器上。两种方式的模型能力相同，区别在于数据去向、成本和运维。
私有化部署
下载模型权重，部署在自己的服务器上。数据不出内网，可以微调，也没有调用次数限制。
- 提交下载申请
- 审批通过后下载权重并校验 SHA-256
- 用 vLLM / Ollama 启动服务
详细对比
| 对比项 | 调用托管 API | 私有化部署 |
|---|---|---|
| 上手时间 | 几分钟：拿到 Key 即可调用 | 约半天：准备 GPU 服务器并部署 |
| 硬件要求 | 无需任何硬件 | 8GB 显存起（INT4），推荐 24GB（BF16） |
| 数据去向 | 请求经 HTTPS 发送到托管服务，敏感日志建议先脱敏 | 完全在内网运行，数据不出本地 |
| 调用限制 | 按 Key 限流，并有月度 token 额度 | 只受自有硬件限制，可高并发批量处理 |
| 定制能力 | 使用标准模型 | 可用自有数据做 LoRA 微调 |
| 运维 | 无需运维，由我们维护和升级 | 自行维护，版本升级需重新下载 |
| 适合 | 评估试用、低频调用、没有 GPU 的团队 | 生产环境、敏感数据、等保与涉密场景 |
怎么选
先用 API，再决定是否部署
多数团队先申请 API Key，用历史告警评估效果，确认适合后再下载模型私有化部署。两种方式接口一致，切换时只需修改 base_url。
这些情况直接选私有部署
日志或代码不允许出网；需要处理大批量告警；需要用自有数据微调；所在行业有等保、涉密或数据出境要求。
许可两种方式均适用 PolyForm Noncommercial 1.0.0 许可：个人与非营利机构可免费使用，商业用途需另行授权。有问题请到 反馈页面 联系我们。