Skip to main content
Open on GitHub

Llama.cpp

llama.cpp python 库是 @ggerganov llama.cpp 的简单 Python 绑定。

此包提供：

  • 通过 ctypes 接口的 C API 低级访问。
  • 用于文本补全的高级 Python API
    • 类似 OpenAI 的 API
    • LangChain 兼容性
    • LlamaIndex 兼容性
  • 类似 OpenAI 的 Web 服务器
    • 本地 Copilot 替代方案
    • 函数调用支持
    • Vision API 支持
    • 多模型

安装和设置​

  • 安装 Python 包 
    pip install llama-cpp-python
  • 下载其中一个支持的模型，并按照说明将其转换为 llama.cpp 格式。

Chat models​

请参阅用法示例。

from langchain_community.chat_models import ChatLlamaCpp
API Reference:ChatLlamaCpp

LLMs​

请参阅用法示例。

from langchain_community.llms import LlamaCpp
API Reference:LlamaCpp

Embedding models​

请参阅用法示例。

from langchain_community.embeddings import LlamaCppEmbeddings
API Reference:LlamaCppEmbeddings