本地模型 · OPEN SOURCE
ggml-org/llama.cpp
用 C/C++ 在广泛硬件上高效运行大语言模型。
适合谁
采用前检查
参数和量化格式较多，部署前应做性能基准。
Stars 仅反映关注度。生产采用前还需检查维护活跃度、安全公告、依赖、许可证全文与实际资源成本。