Skip to main content
Open In ColabOpen on GitHub

Cloudflare Workers AI

Cloudflare, Inc. (Wikipedia)是一家提供内容分发网络服务、云安全防护、DDoS 缓解和 ICANN 认证域名注册服务的美国公司。

Cloudflare Workers AI 允许您通过 REST API 在 Cloudflare 网络上运行机器学习模型。

Workers AI Developer Docs 列出了所有可用的文本嵌入模型。

设置​

需要 Cloudflare 账户 ID 和 Workers AI API 令牌。请参阅本文档了解如何获取它们。

您可以显式传递这些参数，也可以将其定义为环境变量。

import os

from dotenv import load_dotenv

load_dotenv(".env")

cf_acct_id = os.getenv("CF_ACCOUNT_ID")

cf_ai_token = os.getenv("CF_AI_API_TOKEN")

示例​

from langchain_cloudflare.embeddings import (
    CloudflareWorkersAIEmbeddings,
)
embeddings = CloudflareWorkersAIEmbeddings(
    account_id=cf_acct_id,
    api_token=cf_ai_token,
    model_name="@cf/baai/bge-small-en-v1.5",
)
# single string embeddings
query_result = embeddings.embed_query("test")
len(query_result), query_result[:3]
(384, [-0.033660888671875, 0.039764404296875, 0.03558349609375])
# string embeddings in batches
batch_query_result = embeddings.embed_documents(["test1", "test2", "test3"])
len(batch_query_result), len(batch_query_result[0])
(3, 384)