Skip to main content
Open on GitHub

ScrapeGraph AI

ScrapeGraph AI 是一项提供 AI 驱动的网络抓取功能的 خدمة。 它提供了用于提取结构化数据、将网页转换为 markdown 以及使用自然语言提示处理本地 HTML 内容的工具。

安装与设置​

安装所需的包：

pip install langchain-scrapegraph

设置您的 API 密钥：

export SGAI_API_KEY="your-scrapegraph-api-key"

工具​

请参阅使用示例。

可用的工具有四个：

from langchain_scrapegraph.tools import (
    SmartScraperTool,    # 从网站提取结构化数据
    SmartCrawlerTool,    # 通过爬取从多个页面提取数据
    MarkdownifyTool,     # 将网页转换为 markdown
    GetCreditsTool,      # 检查剩余 API 额度
)

每个工具都有特定用途：

  • SmartScraperTool: 根据 URL、提示和可选的输出模式从网站提取结构化数据
  • SmartCrawlerTool: 通过高级爬取选项（如深度控制、页面限制和域名限制）从多个页面提取数据
  • MarkdownifyTool: 将任何网页转换为干净的 markdown 格式
  • GetCreditsTool: 检查您剩余的 ScrapeGraph AI 额度