Skip to main content
Open In ColabOpen on GitHub

TF-IDF

TF-IDF 的意思是词频（term frequency）乘以逆文档频率（inverse document-frequency）。

本笔记将介绍如何使用一个检索器，该检索器在底层使用 scikit-learn 包中的 TF-IDF。

有关 TF-IDF 详细信息的更多内容，请参阅 这篇博文。

%pip install --upgrade --quiet  scikit-learn
from langchain_community.retrievers import TFIDFRetriever
API Reference:TFIDFRetriever

使用文本创建新的检索器​

retriever = TFIDFRetriever.from_texts(["foo", "bar", "world", "hello", "foo bar"])

使用文档创建新的检索器​

您现在可以使用创建的文档来创建一个新的检索器。

from langchain_core.documents import Document

retriever = TFIDFRetriever.from_documents(
    [
        Document(page_content="foo"),
        Document(page_content="bar"),
        Document(page_content="world"),
        Document(page_content="hello"),
        Document(page_content="foo bar"),
    ]
)
API Reference:Document

使用检索器​

现在我们可以使用检索器了！

result = retriever.invoke("foo")
result
[Document(page_content='foo', metadata={}),
 Document(page_content='foo bar', metadata={}),
 Document(page_content='hello', metadata={}),
 Document(page_content='world', metadata={})]

保存与加载​

您可以轻松地保存和加载此检索器，这对于本地开发非常有用！

retriever.save_local("testing.pkl")
retriever_copy = TFIDFRetriever.load_local("testing.pkl")
retriever_copy.invoke("foo")
[Document(page_content='foo', metadata={}),
 Document(page_content='foo bar', metadata={}),
 Document(page_content='hello', metadata={}),
 Document(page_content='world', metadata={})]