找到出海 SaaS 和 AI 产品的实用工具

Replicate：使用云 API 运行开源机器学习模型

vLLM：用于法学硕士的高吞吐量和内存高效的推理和服务引擎 - vllm-project/vllm

Text Generation Inference：我们正在通过开源和开放科学推进人工智能并使之民主化；该入口聚焦 Text Generation Inference，

llama.cpp：C/C++ 中的 LLM 推理。通过在 GitHub 上创建帐户来为 ggml-org/llama.cpp 开发做出贡献。

LocalAI 是开源人工智能引擎。在任何硬件上运行任何模型 - 法学硕士、视觉、语音、图像、视频。无需 GPU。 - 泥德勒/LocalAI

NVIDIA DGX Cloud Lepton：通过单一平台将开发人员连接到跨多个云提供商的全球 GPU 计算网络。

Lambda Cloud：按小时租用 NVIDIA H100、H200、B200 和 A100 GPU。只需几分钟即可启动，可扩展到多个 GPU，并且按需付费，无需出口费用。

CoreWeave 是面向推理部署场景的项目入口，主要用于部署和运行网站、API 或云端服务；官网域名为 coreweave.com。

E2B：通过真实工具为人工智能代理提供安全计算机保护。 88% 的财富 100 强公司使用 E2B 来实现前沿代理工作流程。

SGLang：适用于大语言和多模式模型的高性能服务框架。

KServe：一个 Kubernetes 原生平台，用于通过标准化协议为机器学习模型提供预测性和生成性 AI 服务。扩展到零、GPU 加速和多框架支持。

Ray Serve 是一个可扩展的模型服务库，用于构建在线推理 API。 Serve 与框架无关，因此您可以使用单个工具包来服务从深度学习模型构建的所有内容...

Traceloop：将评估和监控转变为连续的反馈循环 - 因此每个版本都会变得更好

Cloudflare Workers AI：在 Cloudflare 的全球网络上运行由无服务器 GPU 提供支持的机器学习模型。

Evidently：确保您的 AI 已做好生产准备。测试法学硕士并监控 AI 应用程序、RAG 系统和多代理工作流程的性能。基于开源构建。

LangDB：实时调试您的 AI 代理。 AI 代理的全面可观察性，包括跟踪、监控和优化。可与 LangChain、Google ADK、OpenAI 和所有主要框架配合使用。

TrueFoundry：使用 TrueFoundry 的企业 AI 网关和 MCP 网关部署、保护和扩展 LLM 和 AI 代理。内置速率限制、可观察性和合规性。

WasmEdge 是面向推理部署场景的项目入口，主要用于部署和运行网站、API 或云端服务；官网域名为 wasmedge.org。

Superlinked：您的代理调用的每个模型都由云中的一个开源集群提供服务。端到端开放模型；比每个代币 API 便宜 50 倍。

LangWatch：AI 代理测试和评估，通过模拟、评估、可观察性和治理，将不可预测的代理转变为可靠的生产系统。

Inferless：用于部署机器学习模型的极速无服务器 GPU 推理。使用 Inferless 进行可扩展且轻松的自定义机器学习模型部署！

OpenLIT 是一个基于 OpenTelemetry 构建的开源 LLM 可观测平台。监控令牌使用情况、成本和延迟。在 Apache 2.0 下自托管。

Cerebrium：通过亚秒级冷启动在无服务器 GPU 上部署语音代理、视频模型和 LLM。按秒付费定价。没有 Kubernetes。

TensorZero：为生产级 LLM 应用构建开源工具：LLM 网关、可观测性、优化、评估和实验。

Anyscale：由 Ray 提供支持，可帮助 AI 构建者运行数据密集型工作负载，以在任何云上大规模构建和部署基础模型和 AI。