LLM Infrastructure · /llm-infrastructure
LLM 基础设施工具
模型 API、推理服务、模型托管、网关与可观测性，是 AI 应用的运行时底座。
该分类共收录 16 个工具 · 数据最后验证后统一发布
分类下工具
按编辑精选排序，可在工具目录中继续组合筛选。
LangChain
构建 LLM 应用与代理的编排框架
LLM 基础设施AI AgentAgent 编排工具调用
开源 开源 自托管
Vercel AI SDK
TypeScript 全栈 LLM 应用开发的统一接口层
LLM 基础设施AI AgentFunction Calling工具调用
开源 开源 自托管
Ollama
在本地一行命令运行开源大模型
LLM 基础设施模型推理模型托管
开源 开源 自托管
Kimi
月之暗面推出的超长上下文 AI 智能助手，支持联网搜索、文件解析、编程与自主 Agent 任务
AI AgentAI 编程工具调用Function Calling
免费增值 开源 MCP 自托管
LlamaIndex
面向 RAG 的数据索引与检索编排框架
RAG 与向量数据库LLM 基础设施RAG 流水线向量检索
开源 开源 自托管
OpenAI API
通过 REST API 调用 GPT 系列模型能力
LLM 基础设施Function CallingEmbedding 生成
付费
Anthropic API
调用 Claude 系列模型的官方推理接口
LLM 基础设施Function Calling模型推理
付费
Google Gemini API
通过 Google AI Studio 调用 Gemini 多模态模型
LLM 基础设施Function CallingEmbedding 生成
免费增值
Groq
基于 LPU 的低延迟大模型推理云服务
LLM 基础设施模型推理模型托管
免费增值
Together AI
开源模型推理、微调与托管服务平台
LLM 基础设施模型推理模型托管
免费增值
Fireworks AI
高性能生成式 AI 推理与微调云平台
LLM 基础设施模型推理模型托管
付费
OpenRouter
统一路由多家模型供应商的 API 网关
LLM 基础设施模型推理Function Calling
免费增值
vLLM
高吞吐大模型推理与服务引擎
LLM 基础设施模型推理模型托管
开源 开源 自托管
llama.cpp
纯 C/C++ 的本地大模型推理引擎
LLM 基础设施模型推理模型托管
开源 开源 自托管
LiteLLM
用统一 OpenAI 格式调用上百种模型
LLM 基础设施模型推理Function Calling
开源 开源 自托管
Langfuse
开源 LLM 应用可观测与提示管理平台
LLM 基础设施AI Agent可观测性Prompt 管理
免费增值 开源 自托管