Skip to main content
Open on GitHub

LocalAI

LocalAI 是免费、开源的 OpenAI 替代品。 LocalAI 可作为一种即插即用的 REST API 替代方案，与 OpenAI API 规范兼容，用于本地推理。它允许您使用消费级硬件在本地或本地部署运行大型语言模型、生成图像、音频（以及更多），支持多种模型家族和架构。

caution

为确保兼容性，请确保您使用的 openai SDK 版本为 0.x。

info

langchain-localai 是 LocalAI 的第三方集成包。它提供了一种在 Langchain 中使用 LocalAI 服务的方式。 源代码可在 Github 上找到

安装和设置​

我们需要安装几个 Python 包：

pip install tenacity openai

Embedding models​

请参阅使用示例。

from langchain_localai import LocalAIEmbeddings