PipelineAI

PipelineAI 允许您在云端大规模运行您的 ML 模型。它还提供对 多个 LLM 模型 的 API 访问。

本笔记将介绍如何将 Langchain 与 PipelineAI 结合使用。

PipelineAI 示例

此示例展示了 PipelineAI 如何与 LangChain 集成，由 PipelineAI 创建。

设置

要使用 PipelineAI API（又称 Pipeline Cloud），需要 pipeline-ai 库。使用 pip install pipeline-ai 安装 pipeline-ai。

# Install the package
%pip install --upgrade --quiet  pipeline-ai

示例

导入

import os

from langchain_community.llms import PipelineAI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate

API Reference:PipelineAI | StrOutputParser | PromptTemplate

设置环境变量 API 密钥

请确保从 PipelineAI 获取您的 API 密钥。请查看 cloud quickstart 指南。您将获得 30 天免费试用以及 10 小时的无服务器 GPU 计算资源，用于测试不同的模型。

os.environ["PIPELINE_API_KEY"] = "YOUR_API_KEY_HERE"

创建 PipelineAI 实例

实例化 PipelineAI 时，你需要指定要使用的 pipeline 的 id 或 tag，例如：pipeline_key = "public/gpt-j:base"。然后，你可以选择传递其他特定于 pipeline 的关键字参数：

llm = PipelineAI(pipeline_key="YOUR_PIPELINE_KEY", pipeline_kwargs={...})

创建提示模板

我们将为问答创建一个提示模板。

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

初始化 LLMChain

llm_chain = prompt | llm | StrOutputParser()

运行 LLMChain

提供一个问题并运行 LLMChain。

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.invoke(question)

Related

• LLM conceptual guide
• LLM how-to guides