Skip to main content
Open on GitHub

Konko

与 Konko 相关的所有功能。

Konko AI 为应用程序开发人员提供完全托管的 API，帮助他们：

  1. 选择适合其应用程序的开源或专有 LLM。 2.借助与领先的应用程序框架的集成和完全托管的 API，更快地构建应用程序。
  2. 微调较小的开源 LLM，以更低的成本实现行业领先的性能。 4.使用符合 SOC 2 标准的 Konko AI 的多云基础设施部署生产级 API，该 API 可满足安全、隐私、吞吐量和延迟的 SLA 要求，而无需进行基础设施设置或管理。

安装和设置​

  1. 登录我们的 Web 应用程序以创建 API 密钥，以便通过我们的聊天补全和补全终端节点访问模型。
  2. 启用 Python3.8+ 环境。
  3. 安装 SDK。
pip install konko
  1. 将 API 密钥设置为环境变量（KONKO_API_KEY、OPENAI_API_KEY）。
export KONKO_API_KEY={your_KONKO_API_KEY_here}
export OPENAI_API_KEY={your_OPENAI_API_KEY_here} #Optional

更多详情请参阅Konko 文档。

LLM​

**浏览可用模型：**首先在 Konko 上浏览可用模型。每个模型都针对不同的用例和功能。

您可以通过此终端节点找到在 Konko 实例上运行的模型列表。

请参阅使用示例。

终端节点用法示例​

  • 使用 mistralai/Mistral-7B-v0.1 进行补全：

    from langchain_community.llms import Konko
    llm = Konko(max_tokens=800, model='mistralai/Mistral-7B-v0.1')
    prompt = "Generate a Product Description for Apple Iphone 15"
    response = llm.invoke(prompt)

Chat Models​

请参阅使用示例。

  • 使用 Mistral-7B 进行 ChatCompletion：

    from langchain_core.messages import HumanMessage
    from langchain_community.chat_models import ChatKonko
    chat_instance = ChatKonko(max_tokens=10, model = 'mistralai/mistral-7b-instruct-v0.1')
    msg = HumanMessage(content="Hi")
    chat_response = chat_instance([msg])

如需进一步帮助，请通过 support@konko.ai 联系我们或加入我们的 Discord。