并发加载器
如同通用加载器一样工作,但为了优化工作流程可以选择并发处理。
from langchain_community.document_loaders import ConcurrentLoader
API Reference:ConcurrentLoader
loader = ConcurrentLoader.from_filesystem("example_data/", glob="**/*.txt")
files = loader.load()
len(files)
2
Related
- Document loader conceptual guide
- Document loader how-to guides