工具简介
Groq 提供的托管推理平台，使用自研 LPU 推理引擎运行 Llama、Qwen、Mistral 等开源模型，主打极低的首 token 延迟与高吞吐，兼容 OpenAI 格式的 Chat Completions 接口。适合对实时响应要求高的对话、语音与代理应用，按 token 计费并提供免费层。
本页内容来自 KGABC 结构化知识库。带「未验证」标记的字段表示官方资料未明确说明，不等同于「不支持」。
核心功能
- LPU 推理引擎带来低首 token 延迟
- OpenAI 兼容的 Chat Completions 接口
- 托管多种开源权重模型
- 提供速率与用量可查的控制台
适用场景
- 构建实时语音或聊天对话链路
- 为代理提供快速的工具决策响应
优势
- 推理延迟低，交互体验流畅
- 兼容 OpenAI 接口，迁移成本低
技术能力
APISDKMCP 支持未验证开源可自托管云服务本地运行
部署与平台
WebmacOSWindowsLinuxCLI
信息来源与可信度
| 来源类型 | 依据 | 状态 |
|---|---|---|
| Groq 官方网站 https://groq.com | 官网说明 LPU 推理引擎与模型服务 | 已验证 |
| Groq API 文档 https://console.groq.com/docs | 文档说明 OpenAI 兼容接口与可用模型 | 已验证 |
最后验证时间：Sun Nov 01来源优先级：官网 > 官方文档 > 官方 GitHub > 官方定价页 > 第三方资料