FireCrawl

FireCrawl 可以爬取并转换任何网站，为 LLM 准备数据。 它可以爬取所有可访问的子页面，并为每个页面提供干净的 markdown 和元数据。无需站点地图。

安装和设置

安装 Python SDK：

pip install firecrawl-py==0.0.20

Document loader

请参阅 使用示例。

from langchain_community.document_loaders import FireCrawlLoader

API Reference:FireCrawlLoader