📄️ AI21SemanticTextSplitter
本示例将介绍如何在 LangChain 中使用 AI21SemanticTextSplitter。
📄️ Beautiful Soup
Beautiful Soup 是一个用于解析 HTML 和 XML 文档（包括非良构的标记，例如未关闭的标签，因此得名 tag soup）的 Python 包。它为解析后的页面创建一个解析树，可用于从 HTML 中提取数据，非常适合网络抓取。
📄️ Cross Encoder 重排器
本 Notebook 展示了如何在检索器中实现重排器，使用您自己的交叉编码器，这些交叉编码器来自 Hugging Face 交叉编码器模型 或实现了交叉编码器功能的 Hugging Face 模型 (示例：BAAI/bge-reranker-base)。SagemakerEndpointCrossEncoder 使您能够使用加载到 Sagemaker 上的这些 HuggingFace 模型。
📄️ DashScope Reranker
本 Notebook 展示了如何使用 DashScope Reranker 进行文档压缩和检索。DashScope 是阿里云提供的生成式 AI 服务。
📄️ Doctran：提取属性
我们可以使用 Doctran 库提取文档的有用特征，该库使用 OpenAI 的函数调用功能来提取特定的元数据。
📄️ Doctran：审问文档
通常，用于向量存储知识库的文档以叙述性或对话性格式存储。然而，大多数用户查询是问题格式。如果我们先将文档转换为问答格式再进行向量化，就可以提高检索相关文档的可能性，并降低检索不相关文档的可能性。
📄️ Doctran：语言翻译
通过嵌入对比文档具有跨多语言工作的益处。“Harrison says hello”和“Harrison dice hola”在向量空间中会占据相似的位置，因为它们在语义上具有相同的含义。
📄️ Google Cloud Vertex AI Reranker
Vertex Search Ranking API 是 Vertex AI Agent Builder 中一个独立的 API。它接收文档列表，并根据文档与查询的相关性对这些文档进行重新排序。与仅查看文档和查询的语义相似性的 embeddings 相比，ranking API 可以为你提供关于文档如何很好地回答给定查询的精确分数。ranking API 可用于在检索到初始候选文档集后提高搜索结果的质量。
📄️ Google Cloud Document AI
Document AI 是一个来自 Google Cloud 的文档理解平台，可将文档中的非结构化数据转换为结构化数据，从而更易于理解、分析和使用。
📄️ 谷歌翻译
Google Translate 是由谷歌开发的多语言神经机器翻译 服务，可将文本、文档和网站从一种语言翻译成另一种语言。
📄️ HTML 转换为文本
html2text 是一个 Python 包，可以将一个 HTML 页面转换为干净、易于阅读的纯 ASCII 文本。
📄️ Infinity Reranker
Infinity 是一个高性能、低延迟的 REST API，用于提供文本嵌入、重排模型和 clip。
📄️ Jina Reranker
本 Notebook 展示了如何使用 Jina Reranker 进行文档压缩和检索。
📄️ Markdownify
markdownify 是一个 Python 包，可以将 HTML 文档转换为 Markdown 格式，并提供可自定义的选项来处理标签（链接、图片等）、标题样式等。
📄️ Nuclia
Nuclia 可自动索引来自任何内部和外部来源的非结构化数据，提供优化的搜索结果和生成式问答。它可以处理视频和音频转录、图像内容提取以及文档解析。
📄️ OpenAI 元数据标签器
通常，将结构化元数据（例如文档的标题、语气或长度）作为标签添加到已摄取的文档中会很有用，以便以后进行更具针对性的相似性搜索。但是，对于大量的文档，手动进行此标注过程可能会很繁琐。
📄️ OpenVINO Reranker
OpenVINO™ 是一个用于优化和部署 AI 推理的开源工具包。OpenVINO™ Runtime 支持多种硬件 设备，包括 x86 和 ARM CPU 以及 Intel GPU。它可以帮助提升计算机视觉、自动语音识别、自然语言处理和其他常见任务中的深度学习性能。
📄️ RankLLM 重新排序器
RankLLM 是一个灵活的重排框架，支持列表、成对和点顺序的排名模型。它包含 RankVicuna、RankZephyr、MonoT5、DuoT5、LiT5 和 FirstMistral，并集成了 FastChat、vLLM、SGLang 和 TensorRT-LLM 以实现高效推理。RankLLM 专为检索和排名任务进行了优化，同时 利用开源 LLM 和 RankGPT、RankGemini 等专有重排器。它支持批量推理、首个 token 重排以及通过 BM25 和 SPLADE 进行检索。
📄️ Volcengine Reranker
本笔记本展示了如何使用 Volcengine Reranker 进行文档压缩和检索。Volcengine 是由 TikTok 的母公司字节跳动开发的云服务平台。
📄️ VoyageAI Reranker
Voyage AI 提供领先的嵌入/矢量化模型。