一句话选型结论:Routerly 更适合希望保留自托管控制权,同时需要统一模型入口、成本跟踪和预算治理的小团队。
Routerly 是什么?
Routerly 官网强调 one gateway, any AI model, total control,并描述为 self-hosted LLM router。它适合对数据边界、成本跟踪和自托管控制更敏感的团队,而不是只想找一个现成模型聚合入口的用户。
从方向舵的收录角度,它属于“模型网关与 API 路由”,重点看是否能用正规的方式统一多模型调用、路由策略、成本监控、失败兜底和日志审计,而不是把它当作共享 Key 或低价 token 中转服务。
我能拿它做什么?
| 使用目标 | 可尝试的用法 | 选型时先确认 |
|---|---|---|
| 自托管模型网关 | 在自己的环境里统一接入多个模型供应商。 | 部署、升级、备份和安全配置是否可维护。 |
| 智能路由 | 按模型能力、成本或任务类型选择后端模型。 | 路由策略是否能被观察和回滚。 |
| 成本跟踪 | 把模型消耗按项目或环境归因。 | 账单统计是否能对应真实业务指标。 |
| 预算控制 | 给项目或团队设置预算边界。 | 超额处理、告警和限流策略是否清晰。 |
适合哪些人?
- 不希望模型调用日志离开自有环境的工程团队。
- 需要统一多模型调用和预算控制的独立开发者或小团队。
- 有能力维护自托管服务,并希望降低供应商锁定的 SaaS 团队。
- 想把模型成本治理前置到网关层的技术负责人。
价格和隐藏成本怎么看?
公开页面未稳定提取到完整价格表,选型时应确认免费额度、团队席位、调用量、日志保留、企业功能和支持方式。
| 成本项 | 判断方法 |
|---|---|
| 平台费用 | 确认免费额度、团队版、企业版和是否按调用量、日志量或席位计费。 |
| 模型费用 | 模型网关通常不会消除底层模型成本,要单独计算各模型供应商账单。 |
| 迁移成本 | 查看是否兼容 OpenAI 风格 API、是否支持 BYOK、是否容易替换供应商。 |
| 治理成本 | 关注 API Key 权限、限流、日志保留、审计和敏感数据遮罩。 |
和同类工具比看什么?
- 和 LiteLLM、Bifrost 相比,重点比较部署复杂度、路由能力和维护风险。
- 自托管是否真的带来安全收益,取决于团队运维能力。
- 是否支持你当前使用的模型、SDK 和鉴权方式。
- 预算控制要和真实业务使用量联动,不能只看总 token。
- 生产前需要压测延迟、错误率和 fallback 行为。
不适合的情况
- 只是想找低价 token、共享 Key、账号拼车或绕过平台限制的服务。
- 无法确认服务主体、隐私政策、服务条款、日志保存和数据处理方式。
- 业务会把敏感用户数据、支付信息或内部密钥直接交给第三方且没有审计流程。
- 当前只是个人临时测试,不需要统一路由、限流、日志和成本控制。
合规收录边界
- 只收录正规模型网关、API 路由、BYOK、多模型聚合、限流、日志、审计和成本监控工具。
- 不收录共享 Key、低价 token 倒卖、代充、拼车号、镜像绕限制、免实名或灰产用途服务。
- 涉及用户数据、API Key、日志和跨境服务时,必须提示自行核对服务条款、隐私政策和数据边界。
本站按“模型网关与 API 路由”口径收录,不按“token 中转站”口径收录。使用前请自行确认服务条款、账号合规、数据处理方式、日志保存策略和所在地法律要求。
低风险试用建议
先使用测试 Key、低风险 prompt 和小流量请求验证路由、失败返回、日志脱敏、预算上限和切换供应商流程。通过后,再把生产流量逐步接入,并保留回滚方案。
页面更新时间:2026-06-07
OrcaRouter 是 OpenAI 兼容 AI gateway,适合评估多模型路由、负载均衡、guardrails、观测和治理。