工具简介
用 C/C++ 实现、依赖极少的 LLM 推理引擎，支持 GGUF 量化格式与 CPU、GPU 混合推理，附带轻量 HTTP Server 与命令行工具。适合在消费级硬件、边缘设备或嵌入式环境离线运行模型，也是 Ollama、LM Studio 等桌面工具常用的底层推理实现。
本页内容来自 KGABC 结构化知识库。带「未验证」标记的字段表示官方资料未明确说明，不等同于「不支持」。
核心功能
- GGUF 量化显著降低内存占用
- CPU 与多种 GPU 后端可选
- 内置 llama-server 兼容 OpenAI 接口
- 编译产物轻量，可跨平台构建
适用场景
- 在无独立 GPU 的机器上离线运行模型
- 为桌面应用嵌入本地推理能力
优势
- 硬件门槛低，适用设备范围广
- 依赖少，部署与交叉编译简单
技术能力
APISDK未验证MCP 支持未验证开源可自托管云服务本地运行
部署与平台
macOSWindowsLinuxDockerCLI
信息来源与可信度
| 来源类型 | 依据 | 状态 |
|---|---|---|
| llama.cpp 官方仓库 https://github.com/ggml-org/llama.cpp | README 说明 C/C++ 推理引擎与 GGUF 支持 | 已验证 |
| llama.cpp 官方仓库 https://github.com/ggml-org/llama.cpp | 仓库 LICENSE 确认 MIT 开源许可 | 已验证 |
最后验证时间：Sun Nov 01来源优先级：官网 > 官方文档 > 官方 GitHub > 官方定价页 > 第三方资料