📄️ Argilla
Argilla 是一个用于 LLM 的开源数据策展平台。
📄️ Comet Tracing
您可以通过两种方式使用 Comet 追踪您的 LangChain 执行过程：
📄️ Confident
DeepEval 包用于 LLM 的单元测试。
📄️ 背景
Context 为由 LLM 提供支持的产品和功能提供用户分析。
📄️ Fiddler
Fiddler is the pioneer in enterprise Generative and Predictive system ops, offering a unified platform that enables Data Science, MLOps, Risk, Compliance, Analytics, and other LOB teams to monitor, explain, analyze, and improve ML deployments at enterprise scale.
📄️ Infino
Infino 是一个可扩展的遥测存储，专为日志、指标和追踪而设计。Infino 可以作为独立的观测性解决方案，也可以作为观测性堆栈中的存储层。
📄️ Label Studio
Label Studio 是一个开源数据标注平台，它为 LangChain 在微调大型语 言模型（LLM）的数据标注方面提供了灵活性。它还可以用于准备自定义训练数据以及通过人类反馈收集和评估响应。
📄️ LLMonitor
LLMonitor 是一个开源的可观测性平台，提供成本和使用情况分析、用户跟踪、追踪和评估工具。
📄️ PromptLayer
PromptLayer 是一个用于 Prompt Engineering 的平台。它还提供 LLM 可观测性，用于可视化请求、版本化 Prompt 以及跟踪使用情况。
📄️ SageMaker 跟踪
Amazon SageMaker 是一项全托管服务，可用于快速轻松地构建、训练和部署机器学习 (ML) 模型。
📄️ Streamlit
Streamlit 是构建和共享数据应用的更快方式。
📄️ Trubrics
Trubrics 是一个 LLM 用户分析平台，您可以收集、分析和管理用户向 AI 模型提供的提示和反馈。
📄️ Upstash Ratelimit 回调
在本指南中，我们将介绍如何使用 UpstashRatelimitHandler 基于请求数量或 token 数量添加速率限制。此处理器使用了 Upstash 的 ratelimit 库，该库利用了 Upstash Redis。
📄️ uptrain
UpTrain [github || website || docs] 是一个开源平台，用于评估和改进 LLM 应用。它为 20 多个预配置的检查（涵盖语言、代码、嵌入式用例）提供评分，对失败案例进行根本原因分析，并提供解决它们的指导。