LocalAI - 25.2k✨
// 免费开源的 AI 推理框架，提供了与 OpenAI API 完全兼容的接口，支持在消费级硬件上本地运行 LLM、T2I、TTS等多种 AI 能力，无需强制依赖 GPU，是一个完全本地化的 AI 基础设施解决方案
// 核心功能
文本生成与对话 - 支持多种 LLM (llama.cpp, gpt4all.cpp, Ollama等) - 提供类 OpenAI 统一兼容 API - 支持函数调用和约束语法
多模态能力 - 文本转语音(TTS) - 语音转文本(使用 whisper.cpp) - 图像生成(基于 SD) - 视觉 API 支持 - 支持向量嵌入生成
创新特性 - P2P 分布式推理 🆕 - 集成 WebUI 界面 - 直接从 Huggingface 下载模型 - 重排序 API
// 项目地址: https://github.com/mudler/LocalAI