Skip to main content
Open In ColabOpen on GitHub

Oracle Cloud Infrastructure 生成式 AI

Oracle Cloud Infrastructure (OCI) 生成式 AI 是一项全托管服务，提供了一系列最先进、可定制的大型语言模型 (LLM)，涵盖广泛用例，并通过单一 API 提供。 使用 OCI 生成式 AI 服务，您可以访问现成的预训练模型，或者使用专用 AI 集群上的自有数据创建和托管您自己的微调定制模型。服务的详细文档和 API 可通过 此处 和 此处 获取。

本 Notebook 将介绍如何将 OCI 的生成式 AI 模型与 LangChain 配合使用。

先决条件​

我们需要安装 oci sdk

!pip install -U oci

OCI 生成式 AI API 端点​

https://inference.generativeai.us-chicago-1.oci.oraclecloud.com

身份验证​

此 Langchain 集成支持的身份验证方法包括：

  1. API 密钥
  2. 会话令牌
  3. 实例主体
  4. 资源主体

这些方法遵循标准的 SDK 身份验证方法，详细信息请参见 此处。

用法​

from langchain_community.embeddings import OCIGenAIEmbeddings

# use default authN method API-key
embeddings = OCIGenAIEmbeddings(
    model_id="MY_EMBEDDING_MODEL",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
)


query = "This is a query in English."
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)
API Reference:OCIGenAIEmbeddings
# Use Session Token to authN
embeddings = OCIGenAIEmbeddings(
    model_id="MY_EMBEDDING_MODEL",
    service_endpoint="https://inference.generativeai.us-chicago-1.oci.oraclecloud.com",
    compartment_id="MY_OCID",
    auth_type="SECURITY_TOKEN",
    auth_profile="MY_PROFILE",  # replace with your profile name
    auth_file_location="MY_CONFIG_FILE_LOCATION",  # replace with file location where profile name configs present
)


query = "This is a sample query"
response = embeddings.embed_query(query)
print(response)

documents = ["This is a sample document", "and here is another one"]
response = embeddings.embed_documents(documents)
print(response)