Skip to main content
Open In ColabOpen on GitHub

阿里云 PAI EAS

阿里云 PAI（Platform for AI）是一个轻量级且经济高效的机器学习平台，采用云原生技术。它为您提供端到端的建模服务。它基于数十亿特征和数千亿样本，在100多个场景中加速模型训练。

阿里云机器学习平台是面向企业和开发者的机器学习或深度学习工程平台。它提供易于使用、经济高效、高性能、易于扩展的插件，可应用于各种行业场景。凭借140多种内置优化算法，阿里云机器学习平台提供了全流程的 AI 工程能力，包括数据标注（PAI-iTAG）、模型构建（PAI-Designer 和 PAI-DSW）、模型训练（PAI-DLC）、编译优化和推理部署（PAI-EAS）。

PAI-EAS支持包括CPU和GPU在内的不同类型硬件资源，具有高吞吐量和低延迟的特点。它允许您通过几次点击即可部署大规模的复杂模型，并进行实时的弹性扩缩容。它还提供了一个全面的运维和监控系统。

设置 EAS 服务​

设置环境变量以初始化 EAS 服务 URL 和令牌。 有关更多信息，请参阅此文档。

export EAS_SERVICE_URL=XXX
export EAS_SERVICE_TOKEN=XXX

另一种选择是使用此代码：

import os

from langchain_community.chat_models import PaiEasChatEndpoint
from langchain_core.language_models.chat_models import HumanMessage

os.environ["EAS_SERVICE_URL"] = "Your_EAS_Service_URL"
os.environ["EAS_SERVICE_TOKEN"] = "Your_EAS_Service_Token"
chat = PaiEasChatEndpoint(
    eas_service_url=os.environ["EAS_SERVICE_URL"],
    eas_service_token=os.environ["EAS_SERVICE_TOKEN"],
)

运行聊天模型​

您可以使用默认设置调用 EAS 服务，如下所示：

output = chat.invoke([HumanMessage(content="write a funny joke")])
print("output:", output)

或者，使用新的推理参数调用 EAS 服务：

kwargs = {"temperature": 0.8, "top_p": 0.8, "top_k": 5}
output = chat.invoke([HumanMessage(content="write a funny joke")], **kwargs)
print("output:", output)

或者，运行一个流调用以获得流式响应：

outputs = chat.stream([HumanMessage(content="hi")], streaming=True)
for output in outputs:
    print("stream output:", output)