标签: 量化

# llama.cpp 本地部署大模型指南 > 纯 C++ 实现的高效推理引擎，最极致的性能追求 ## 什么是 llama.cpp？ - ⚡ 由 Georgi Gerganov 开发 - 🚀 纯 C++ 实现，无需 Python - 📱 支持 CPU 和 GPU 推理 - 💾 量化支持，大幅降低显存需求 ## 环境要求 ### CPU 版本 - 8GB+ RAM - 支持 AVX2...