lakeFS

lakeFS 为数据湖提供了可扩展的版本控制，并使用类似 Git 的语义来创建和访问这些版本。

本 notebook 涵盖了如何从 lakeFS 路径（无论是对象还是前缀）加载文档对象。

初始化 lakeFS 加载器

将 ENDPOINT、LAKEFS_ACCESS_KEY 和 LAKEFS_SECRET_KEY 的值替换为您自己的。

from langchain_community.document_loaders import LakeFSLoader

API Reference:LakeFSLoader

ENDPOINT = ""
LAKEFS_ACCESS_KEY = ""
LAKEFS_SECRET_KEY = ""

lakefs_loader = LakeFSLoader(
    lakefs_access_key=LAKEFS_ACCESS_KEY,
    lakefs_secret_key=LAKEFS_SECRET_KEY,
    lakefs_endpoint=ENDPOINT,
)

指定路径

你可以指定一个前缀或一个完整的对象路径来控制要加载的文件。

在相应的 REPO、REF（分支、提交 ID 或标签）和 PATH 中指定仓库、引用（分支、提交 ID 或标签）和路径，以加载其中的文档：

REPO = ""
REF = ""
PATH = ""

lakefs_loader.set_repo(REPO)
lakefs_loader.set_ref(REF)
lakefs_loader.set_path(PATH)

docs = lakefs_loader.load()
docs

Related

• Document loader conceptual guide
• Document loader how-to guides