📌 项目地址：github.com/mudler/LocalAI | 星数：49.3k+ | 作者：Ettore Di Giacinto（mudler）
想让应用接入大模型又要求数据不出门，市面方案各有短板：Ollama 只管 LLM、vLLM 要 GPU、各家云 API 有隐私顾虑。LocalAI 的答案是一个引擎全包：OpenAI、Anthropic、ElevenLabs 三种 API 兼容——现有应用把 base_url 指过来即插即用；LLM/视觉/语音/图像/视频全模态；CPU 也能跑。架构上它是「小核心 + 按需后端」：llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX 等引擎各自封装成独立镜像，模型需要哪个才拉哪个，不装用不到的东西。本地部署的更多路线可对照 Ollama本地部署教程 与 vLLM部署教程。
| 特性 | 说明 |
|---|---|
| API 兼容 | OpenAI / Anthropic / ElevenLabs 三种 API 全后端通用，客户端零改动 |
| 全模态 | LLM、视觉、语音、图像、视频统一在一个 API 后面 |
| 任意硬件 | NVIDIA / AMD / Intel / Apple Silicon / Vulkan / 纯 CPU |
| 组合式后端 | 每个后端独立镜像按需拉取，核心轻量 |
| 多用户就绪 | API key 认证、用户配额、RBAC 角色权限 |
| 内置 Agent | 自主智能体 + 工具调用 + RAG + MCP + 技能 |
| 可扩展 | 任意语言按开放接口写自己的后端 |
| 隐私优先 | 数据永远不出你的基础设施 |
# CPU 版（一条命令起步）
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
# NVIDIA GPU（按 CUDA 版本选镜像）
docker run -ti --name local-ai -p 8080:8080 \
--gpus all localai/localai:latest-gpu-nvidia-cuda-13
# CUDA 12 换 latest-gpu-nvidia-cuda-12
# AMD / Intel / Apple Silicon / Vulkan 均有官方镜像
# 模型库：models.localai.io ｜ 文档：localai.io开源 AI 引擎（mudler/LocalAI，49.3k 星）：在自己的硬件上运行任何模型——LLM、视觉、语音、图像、视频，无 GPU 也能跑。核心是 API 兼容层：同时兼容 OpenAI、Anthropic 和 ElevenLabs 三种 API，现有应用把 base_url 指过来就能用，一行代码不用改。
Ollama 专注 LLM 的极简体验（一条命令跑模型）；LocalAI 是全模态引擎（LLM/视觉/语音/图像/视频一个 API 全包），且采用小核心+按需后端架构——llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX 等引擎各自封装成独立镜像，用到才拉取，不装用不到的东西。多用户场景 LocalAI 更完整：API key 认证、用户配额、RBAC 内置。
一条 docker 命令：docker run -ti --name local-ai -p 8080:8080 localai/localai:latest（CPU 版）；NVIDIA GPU 加 --gpus all 并换 CUDA 13/12 专用镜像；AMD/Intel/Apple Silicon/Vulkan 都有对应版本。没 GPU 完全可用——CPU 推理是 LocalAI 的主打能力之一，隐私优先，数据不出自己的基础设施。