Airbyte JSON (已弃用)

注意：AirbyteJSONLoader 已弃用。请改用 AirbyteLoader。

Airbyte 是一个数据集成平台，用于从 API、数据库和文件到数据仓库和数据湖的 ELT 数据管道。它拥有最大的数据仓库和数据库 ELT 连接器目录。

这涵盖了如何将 Airbyte 的任何源加载到本地 JSON 文件中，该文件可作为文档读取。

先决条件：安装了 Docker Desktop

步骤：

从 GitHub 克隆 Airbyte - git clone https://github.com/airbytehq/airbyte.git
进入 Airbyte 目录 - cd airbyte
启动 Airbyte - docker compose up
在浏览器中访问 http://localhost:8000 系统会要求您输入用户名和密码。默认为用户名 airbyte，密码 password。
设置您想要的任何源。
将目标设置为 Local JSON，并指定目标路径 - 假设为 /json_data。设置手动同步。
运行连接。
要查看创建的文件，您可以导航到：file:///tmp/airbyte_local
找到您的数据并复制路径。该路径应保存在下面的 file 变量中。它应该以 /tmp/airbyte_local 开头。

from langchain_community.document_loaders import AirbyteJSONLoader

API Reference:AirbyteJSONLoader

!ls /tmp/airbyte_local/json_data/

_airbyte_raw_pokemon.jsonl

loader = AirbyteJSONLoader("/tmp/airbyte_local/json_data/_airbyte_raw_pokemon.jsonl")

data = loader.load()

print(data[0].page_content[:500])

abilities: 
ability: 
name: blaze
url: https://pokeapi.co/api/v2/ability/66/

is_hidden: False
slot: 1


ability: 
name: solar-power
url: https://pokeapi.co/api/v2/ability/94/

is_hidden: True
slot: 3

base_experience: 267
forms: 
name: charizard
url: https://pokeapi.co/api/v2/pokemon-form/6/

game_indices: 
game_index: 180
version: 
name: red
url: https://pokeapi.co/api/v2/version/1/



game_index: 180
version: 
name: blue
url: https://pokeapi.co/api/v2/version/2/



game_index: 180
version: 
n

Document loader conceptual guide
Document loader how-to guides

Related​

Related