Skip to main content
Open on GitHub

LLMs

caution

您当前所在页面记录的是 文本补全模型 的使用方法。许多最新且最受欢迎的模型都是 聊天补全模型

除非您专门使用更高级的提示技术,否则您可能在寻找这个页面

LLMs 是语言模型,它们接受字符串作为输入,并返回字符串作为输出。

info

如果您想自己编写 LLM,请参阅此操作指南。 如果您想贡献集成,请参阅贡献集成方法

ProviderPackage
AI21LLMlangchain-ai21
AnthropicLLMlangchain-anthropic
AzureOpenAIlangchain-openai
BedrockLLMlangchain-aws
CohereLLMlangchain-cohere
FireworksLLMlangchain-fireworks
OllamaLLMlangchain-ollama
OpenAILLMlangchain-openai
TogetherLLMlangchain-together
VertexAILLMlangchain-google_vertexai
NVIDIAlangchain-nvidia

All LLMs

NameDescription
AI21 Labs请参阅此页面了解更新后的 ChatAI21 对象。
Aleph AlphaThe Luminous 系列 是一系列大型语言模型。
阿里云 PAI EAS阿里云的 机器学习平台 是专为企业和开发者打造的机器学习或深度学习工程平台。它提供易于使用、经济高效、高性能且易于扩展的插件,可应用于各种...
Amazon API GatewayAmazon API Gateway 是一项全托管服务,可让开发人员轻松地按任何规模创建、发布、维护、监控和保护 API。API充当应用程...
AnyscaleAnyscale 是一个完全托管的 Ray 平台,您可以在该平台上构建、部署和管理可扩展的 AI 和 Python 应用程序。
Aphrodite 引擎Aphrodite 是一个开源的大规模推理引擎,旨在为PygmalionAI 网站上的数千名用户提供服务。
Arcee本笔记本演示了如何使用 Arcee 类,通过 Arcee 的领域自适应语言模型 (DALMs) 来生成文本。
Azure MLAzure ML 是一个用于构建、训练和部署机器学习模型的平台。用户可以在模型目录中探索要部署的模型类型,该目录提供了来自不同提供商的基础...
Azure OpenAI您当前正在浏览关于如何使用 Azure OpenAI 文本补全模型的文档。最新且最受欢迎的 Azure OpenAI 模型是 聊天补全模型。
Baichuan LLMBaichuan Inc. (https://www.baichuan-ai.com/) 是一家中国人工智能初创公司,致力于在通用人工智能...
百度千帆百度智能云千帆平台是面向企业开发者的一站式大模型开发与服务运管平台。千帆不仅提供包括文心一言(ERNIE-Bot)在内的模型及第三方开源模...
BananaBanana 专注于构建机器学习基础设施。
BasetenBaseten 是 LangChain 生态系统中的一个Provider,实现了 LLMs 组件。
Beam调用 Beam API 包装器来部署 gpt2 LLM 的一个实例并在云端运行,并允许后续调用。需要安装 Beam 库并注册 Beam C...
Bedrock您当前所在的页面文档记录了如何将 Amazon Bedrock 模型用作 文本补全模型。Bedrock 上许多常用的模型都是 聊天补全模型。
BittensorBittensor 是一个类似比特币的挖矿网络,它内置了激励机制,旨在鼓励矿工贡献算力 + 知识。
CerebriumAICerebrium 是 AWS Sagemaker 的替代品。它还提供对 多个 LLM 模型 的 API 访问。
ChatGLMChatGLM-6B 是一个基于 General Language Model (GLM) 框架的双语语言模型,拥有 62 亿参数。利用量...
ClarifaiClarifai 是一个 AI 平台,提供从数据探索、数据标注、模型训练、评估到推理的完整 AI 生命周期。
Cloudflare Workers AICloudflare AI 文档 列出了所有可用的生成式文本模型。
Cohere您目前所在的页面记录了如何将 Cohere 模型用作文本补全模型。许多流行的 Cohere 模型是聊天补全模型。
C TransformersC Transformers 库为 GGML 模型提供了 Python 绑定。
CTranslate2CTranslate2 是一个用于高效推断 Transformer 模型的 C++ 和 Python 库。
DatabricksDatabricks Lakehouse 平台在一个平台上统一了数据、分析和人工智能。
DeepInfraDeepInfra 是一个无服务器的推理即服务(inference as a service),提供对多种大语言模型和嵌入模型的访问。本笔...
DeepSparse此页面将介绍如何在 LangChain 中使用 DeepSparse 推理运行时。
Eden AIEden AI 通过整合顶尖的 AI 供应商,正在革新 AI 领域,赋能用户解锁无限可能,挖掘人工智能的真正潜力。它提供了一个集成化、全面...
ExLlamaV2ExLlamav2 是一个快速的推理库,用于在现代消费级 GPU 上本地运行 LLM。
Fireworks您目前正在查看记录如何将 Fireworks 模型用作 文本补全模型 的页面。许多流行的 Fireworks 模型是 聊天补全模型。
ForefrontAIForefront 平台让您能够微调和使用 开源大型语言模型。
FriendliFriendli 以可扩展、高效的部署选项增强 AI 应用程序性能并优化成本节约,专为高需求 AI 工作负载量身定制。
Google AI您目前所在的页面记录的是将 Google 模型用作文本补全模型的用法。许多流行的 Google 模型是聊天补全模型。
Google Cloud Vertex AI您目前所在的页面记录的是 Google Vertex 文本补全模型 的用法。许多 Google 模型实际上是 聊天补全模型。
GooseAIGooseAI 是一项全托管的 NLP 即服务,通过 API 提供。GooseAI 提供对这些模型的访问。
GPT4AllGitHub:nomic-ai/gpt4all 是一个开源聊天机器人生态系统,它在一个包含代码、故事和对话的海量干净的助手数据集上进行了训...
GradientGradient 可以通过简单的 Web API 来微调和获取 LLM 的补全。
Huggingface 端点Hugging Face Hub 是一个拥有超过 12 万个模型、2 万个数据集和 5 万个演示应用(Spaces)的平台,所有这些都是开...
Hugging Face 本地管道可以通过 HuggingFacePipeline 类在本地运行 Hugging Face 模型。
IBM watsonx.aiWatsonxLLM 是 IBM watsonx.ai 基础模型的封装器。
IPEX-LLMIPEX-LLM 是一个用于在英特尔 CPU 和 GPU(例如配备 iGPU 的本地 PC、Arc、Flex 和 Max 等独立 GPU)...
Javelin AI Gateway 教程本 Jupyter Notebook 将探讨如何使用 Python SDK 与 Javelin AI Gateway 进行交互。
JSONFormerJSONFormer 是一个库,它封装了本地的 Hugging Face pipeline 模型,用于结构化解码部分 JSON Schem...
KoboldAI APIKoboldAI 是一个“基于浏览器的 AI 辅助写作前端,支持多种本地和远程 AI 模型……”。它有一个公共和本地 API 可以与 la...
KonkoKonko API 是一项全托管的 Web API,旨在帮助应用程序开发人员:
Layerup SecurityLayerup Security 集成可让您保护与任何 LangChain LLM、LLM 链或 LLM Agent 的调用。LLM 对象...
Llama.cppllama-cpp-python 是 llama.cpp 的 Python 绑定。
LlamafileLlamafile 允许你通过单个文件分发和运行大语言模型。
LM Format EnforcerLM Format Enforcer 是一个通过过滤 token 来强制语言模型生成格式的库。
Manifest本 Notebook 将介绍如何使用 Manifest 和 LangChain。
MinimaxMinimax 是一家中国初创公司,为企业和个人提供自然语言处理模型。
MLX 本地管道MLX 模型可以通过 MLXPipeline 类在本地运行。
ModalModal 云平台提供便捷的按需访问功能,让您能够从本地计算机上的 Python 脚本获得无服务器云计算能力。
ModelScopeModelScope (主页 | GitHub) 基于“模型即服务”(MaaS) 的理念而构建。它致力于汇集 AI 社区中最先进的机器学习...
MoonshotChatMoonshot 是一家中国初创公司,为企业和个人提供 LLM 服务。
MosaicMLMosaicML 提供托管推理服务。你可以使用各种开源模型,也可以部署自己的模型。
NLP CloudNLP Cloud 提供高性能的预训练模型或自定义模型,支持命名实体识别 (NER)、情感分析、分类、摘要、释义、语法和拼写校正、关键词和...
NVIDIA这将帮助您开始使用 NVIDIA 模型。有关所有 NVIDIA 功能和配置的详细文档,请访问 API 参考。
oci_generative_aiOracle Cloud Infrastructure 生成式 AI
OCI 数据科学模型部署端点OCI 数据科学 是一个完全托管的无服务器平台,供数据科学团队在 Oracle Cloud Infrastructure 中构建、训练和管...
OctoAIOctoAI 提供便捷高效的计算访问,并使用户能够将他们选择的 AI 模型集成到应用程序中。OctoAI 计算服务可帮助您轻松运行、调整和...
OllamaYou are currently on a page documenting the use of Ollama models as t...
OpaquePromptsOpaquePrompts 是一项服务,它能让应用程序在不损害用户隐私的前提下,利用语言模型的能力。OpaquePrompts 的设计初衷...
OpenAI您当前所在的页面记录了 OpenAI 文本补全模型 的用法。最新且最受欢迎的 OpenAI 模型是 聊天补全模型。
OpenLLM🦾 OpenLLM 让开发者只需一条命令即可将任何开源 LLM 运行为兼容 OpenAI 的 API 端点。
OpenLMOpenLM 是一个零依赖、兼容 OpenAI 的 LLM 提供商,可以通过 HTTP 直接调用不同的推理端点。
OpenVINOOpenVINO™ 是一个用于优化和部署 AI 推理的开源工具包。OpenVINO™ Runtime 能够支持在各种硬件 设备 上运行经过...
Outlines这将帮助您开始使用 Outlines LLM。有关所有 Outlines 功能和配置的详细文档,请前往 API 参考。
PetalsPetals 以 BitTorrent 的方式,在家中运行 100B+ 的语言模型。
PipelineAIPipelineAI 允许您在云端大规模运行您的 ML 模型。它还提供对 多个 LLM 模型 的 API 访问。
Pipeshift这将帮助您开始使用 LangChain 的 Pipeshift 完成模型(LLM)。有关 Pipeshift 功能和配置选项的详细文档,请...
PredibasePredibase 允许您训练、微调和部署任何 ML 模型——从线性回归到大型语言模型。
PredictionGuardPrediction Guard 是一个安全、可扩展的 GenAI 平台,可保护敏感数据、防止常见的 AI 故障,并在经济实惠的硬件上运行。
PromptLayer OpenAIPromptLayer 是首个允许您跟踪、管理和共享 GPT prompt 工程的平台。PromptLayer 在您的代码和 OpenAI...
RELLMRELLM 是一个库,它封装了本地 Hugging Face pipeline 模型以进行结构化解码。
ReplicateReplicate 在云端运行机器学习模型。我们提供了一个开源模型库,你可以用几行代码就能运行它们。如果你正在构建自己的机器学习模型,Re...
RunhouseRunhouse 允许跨环境和用户进行远程计算和数据操作。请参阅 Runhouse 文档。
RunPod LLM开始使用 RunPod LLMs。
SageMakerEndpointAmazon SageMaker 是一个系统,可使用完全托管的基础设施、工具和工作流为任何用例构建、训练和部署机器学习 (ML) 模型。
SambaNovaCloudSambaNova 的 SambaNova Cloud 是一个用于使用开源模型执行推理的平台。
SambaStudioSambaNova 的 Sambastudio 是一个允许您训练、运行批量推理任务以及部署在线推理端点来运行您自行微调的开源模型的平台。
Solar此社区集成已弃用。您应该改用 ChatUpstage,通过聊天模型连接器访问 Solar LLM。
SparkLLMSparkLLM 是科大讯飞自主研发的超大规模认知模型。
StochasticAIStochastic Acceleration Platform 旨在简化深度学习模型的生命周期。从模型的上传和版本控制,到训练、压缩和加...
Nebula (Symbl.ai)Nebula 是由 Symbl.ai 构建的大型语言模型 (LLM)。它经过训练,能够对人类对话执行生成任务。Nebula 在建模对话的细...
TextGenGitHub:oobabooga/text-generation-webui 一个用于运行 LLaMA、llama.cpp、GPT-J、P...
Titan TakeoffTitanML 通过我们的训练、压缩和推理优化平台,帮助企业构建和部署更好、更小、更便宜、更快的 NLP 模型。
Together AI您当前所在的页面记录了如何将 Together AI 模型用作 文本补全模型。许多流行的 Together AI 模型是 聊天补全模型。
通义千问通义千问是阿里巴巴达摩院开发的大规模语言模型。它能够基于用户输入的自然语言,通过自然语言理解和语义分析来理解用户意图。它在不同的领域和任务...
vLLMvLLM 是一个快速且易于使用的 LLM 推理和服务的库,提供:
Volc Engine Maas本手册将引导您开始使用火山引擎的 MaaS 语言大模型。
Intel 仅权重量化使用 Intel 扩展进行 Transformer 流水线任务的 Huggingface 模型仅权重量化
Writer LLMWriter 是一个生成不同语言内容的平台。
Xorbits 推理 (Xinference)Xinference 是一个强大且通用的库,旨在为 LLM、语音识别模型和多模态模型提供服务,即使在你的笔记本电脑上也能运行。它支持多种与...
YandexGPT本 Notebook 将介绍如何将 Langchain 与 YandexGPT 结合使用。
Yi01.AI 由李开复博士创立,是一家处于 AI 2.0 前沿的全球性公司。他们提供尖端的​​大型语言模型,包括 Yi 系列,其参数量从 6...
Yuan2.0Yuan2.0 是由 IEIT System 开发的新一代基础大语言模型。我们已经发布了 Yuan 2.0-102B、Yuan 2.0-5...