Skip to main content
Open In ColabOpen on GitHub

如何加载 Markdown

Markdown 是一种轻量级标记语言，使用纯文本编辑器创建格式化文本。

在这里，我们将介绍如何将 Markdown 文档加载到 LangChain 的 Document 对象中，以便在下游使用。

我们将介绍：

  • 基本用法；
  • 将 Markdown 解析为标题、列表项和文本等元素。

LangChain 实现了一个 UnstructuredMarkdownLoader 对象，它需要 Unstructured 包。首先，我们安装它：

%pip install "unstructured[md]" nltk

基本用法会将 Markdown 文件摄取到单个文档中。我们在此处以 LangChain 的自述文件为例进行演示：

from langchain_community.document_loaders import UnstructuredMarkdownLoader
from langchain_core.documents import Document

markdown_path = "../../../README.md"
loader = UnstructuredMarkdownLoader(markdown_path)

data = loader.load()
assert len(data) == 1
assert isinstance(data[0], Document)
readme_content = data[0].page_content
print(readme_content[:250])
🦜️🔗 LangChain

⚡ Build context-aware reasoning applications ⚡

Looking for the JS/TS library? Check out LangChain.js.

To help you ship LangChain apps to production faster, check out LangSmith. 
LangSmith is a unified developer platform for building,

保留元素​

在底层，Unstructured 为不同的文本块创建了不同的“元素”。默认情况下，我们将它们组合在一起，但您可以通过指定 mode="elements" 来轻松地保持这种分离。

loader = UnstructuredMarkdownLoader(markdown_path, mode="elements")

data = loader.load()
print(f"Number of documents: {len(data)}\n")

for document in data[:2]:
    print(f"{document}\n")
Number of documents: 66

page_content='🦜️🔗 LangChain' metadata={'source': '../../../README.md', 'category_depth': 0, 'last_modified': '2024-06-28T15:20:01', 'languages': ['eng'], 'filetype': 'text/markdown', 'file_directory': '../../..', 'filename': 'README.md', 'category': 'Title'}

page_content='⚡ Build context-aware reasoning applications ⚡' metadata={'source': '../../../README.md', 'last_modified': '2024-06-28T15:20:01', 'languages': ['eng'], 'parent_id': '200b8a7d0dd03f66e4f13456566d2b3a', 'filetype': 'text/markdown', 'file_directory': '../../..', 'filename': 'README.md', 'category': 'NarrativeText'}

在这个例子中，我们恢复了三种不同的元素类型：

print(set(document.metadata["category"] for document in data))
{'ListItem', 'NarrativeText', 'Title'}