Skip to main content
Open on GitHub

Runhouse

本页介绍如何在 LangChain 中使用 Runhouse 生态系统。 分为三个部分：安装与设置、LLMs 和 Embeddings。

安装与设置​

  • 使用 pip install runhouse 安装 Python SDK
  • 如果您想使用按需集群，请使用 sky check 检查您的云凭证

自托管 LLMs​

对于基本的自托管 LLM，您可以使用 SelfHostedHuggingFaceLLM 类。对于更 自定义的 LLMs，您可以使用 SelfHostedPipeline 父类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

有关自托管 LLMs 的更详细演练，请参阅 此笔记本

自托管 Embeddings​

有几种方法可以通过 Runhouse 在 LangChain 中使用自托管 embeddings。

对于来自 Hugging Face Transformers 模型的自托管 embedding，您可以使用 SelfHostedEmbedding 类。

from langchain_community.llms import SelfHostedPipeline, SelfHostedHuggingFaceLLM

有关自托管 Embeddings 的更详细演练，请参阅 此笔记本