Skip to main content
Open In ColabOpen on GitHub

ChatOctoAI

OctoAI 提供高效算力的便捷访问，并使用户能够将他们选择的 AI 模型集成到应用程序中。OctoAI 计算服务帮助您轻松运行、微调和扩展 AI 应用程序。

本 Notebook 演示了如何将 langchain.chat_models.ChatOctoAI 用于 OctoAI 端点。

设置​

要运行我们的示例应用程序，请执行以下两个简单步骤：

  1. 从 您的 OctoAI 账户页面 获取 API 令牌。

  2. 将您的 API 令牌粘贴到下面的代码单元格中，或者使用 octoai_api_token 关键字参数。

注意：如果您想使用与 可用模型 不同的模型，您可以容器化该模型并自己创建自定义 OctoAI 端点。请遵循 从 Python 构建容器 和 从容器创建自定义端点 中的说明，然后更新您的 OCTOAI_API_BASE 环境变量。

import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"
from langchain_community.chat_models import ChatOctoAI
from langchain_core.messages import HumanMessage, SystemMessage

示例​

chat = ChatOctoAI(max_tokens=300, model_name="mixtral-8x7b-instruct")
messages = [
    SystemMessage(content="You are a helpful assistant."),
    HumanMessage(content="Tell me about Leonardo da Vinci briefly."),
]
print(chat(messages).content)

列奥纳多·达·芬奇（1452-1519）是意大利的一位博学者，他常常被认为是历史上最伟大的画家之一。然而，他的天赋远远超出了艺术范畴。他还是一位科学家、发明家、数学家、工程师、解剖学家、地质学家和绘图员。

达·芬奇以其画作如《蒙娜丽莎》、《最后的晚餐》和《岩石圣母》而闻名。他的科学研究超越时代，其笔记中包含对各种机械、人体解剖和自然现象的详细图画和描述。

尽管从未接受过正规教育，但达·芬奇永不满足的好奇心和观察能力使他在许多领域成为先驱。他的作品至今仍在激励和影响着艺术家、科学家和思想家。