开放城市数据

Socrata 提供了一个城市开放数据的 API。

对于像 SF crime 这样的数据集，在右上角找到 API 选项卡。

那里提供了 dataset identifier。

使用 dataset identifier 来获取特定城市 ID 的特定表格（例如，针对 data.sfgov.org）-

例如，vw6y-z8j6 用于 SF 311 数据。

例如，tmnf-yvry 用于 SF Police 数据。

%pip install --upgrade --quiet  sodapy

from langchain_community.document_loaders import OpenCityDataLoader

API Reference:OpenCityDataLoader

dataset = "vw6y-z8j6"  # 311 data
dataset = "tmnf-yvry"  # crime data
loader = OpenCityDataLoader(city_id="data.sfgov.org", dataset_id=dataset, limit=2000)

docs = loader.load()

WARNING:root:Requests made without an app_token will be subject to strict throttling limits.

eval(docs[0].page_content)

{'pdid': '4133422003074',
 'incidntnum': '041334220',
 'incident_code': '03074',
 'category': 'ROBBERY',
 'descript': 'ROBBERY, BODILY FORCE',
 'dayofweek': 'Monday',
 'date': '2004-11-22T00:00:00.000',
 'time': '17:50',
 'pddistrict': 'INGLESIDE',
 'resolution': 'NONE',
 'address': 'GENEVA AV / SANTOS ST',
 'x': '-122.420084075249',
 'y': '37.7083109744362',
 'location': {'type': 'Point',
  'coordinates': [-122.420084075249, 37.7083109744362]},
 ':@computed_region_26cr_cadq': '9',
 ':@computed_region_rxqg_mtj9': '8',
 ':@computed_region_bh8s_q3mv': '309'}

Document loader conceptual guide
Document loader how-to guides

Related​

Related