Hugging Face 上的 Sentence Transformers

Hugging Face sentence-transformers 是一个用于最先进的句子、文本和图像嵌入的 Python 框架。 你可以使用 HuggingFaceEmbeddings 类来使用这些嵌入模型。

caution

在本地运行 sentence-transformers 可能会受到你的操作系统和其他全局因素的影响。此操作仅推荐给有经验的用户。

设置

你需要安装 langchain_huggingface 包作为依赖：

%pip install -qU langchain-huggingface

用法

from langchain_huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")

text = "This is a test document."
query_result = embeddings.embed_query(text)

# show only the first 100 characters of the stringified vector
print(str(query_result)[:100] + "...")

API Reference:HuggingFaceEmbeddings

[-0.038338568061590195, 0.12346471101045609, -0.028642969205975533, 0.05365273356437683, 0.008845377...

doc_result = embeddings.embed_documents([text, "This is not a test document."])
print(str(doc_result)[:100] + "...")

[[-0.038338497281074524, 0.12346471846103668, -0.028642890974879265, 0.05365274101495743, 0.00884535...

疑难解答

如果您在使用 accelerate 包时遇到找不到或导入失败的问题，安装/升级它可能会有所帮助：

%pip install -qU accelerate

Related

• Embedding model conceptual guide
• Embedding model how-to guides