Memcached

Memcached 是一个免费且开源、高性能的分布式内存对象缓存系统，本质上是通用的，但旨在通过减轻数据库负载来加速动态 Web 应用程序。

本页介绍如何将 Memcached 与 Langchain 结合使用，使用 pymemcache 作为客户端连接到已运行的 Memcached 实例。

安装和设置

pip install pymemcache

LLM 缓存

将 Memcached 缓存集成到您的应用程序中：

from langchain.globals import set_llm_cache
from langchain_openai import OpenAI

from langchain_community.cache import MemcachedCache
from pymemcache.client.base import Client

llm = OpenAI(model="gpt-3.5-turbo-instruct", n=2, best_of=2)
set_llm_cache(MemcachedCache(Client('localhost')))

# 第一次调用时，缓存中尚未命中，因此耗时较长
llm.invoke("Which city is the most crowded city in the USA?")

# 第二次调用时，缓存命中，速度较快
llm.invoke("Which city is the most crowded city in the USA?")

在示例笔记本中了解更多信息

安装和设置​

LLM 缓存​

安装和设置

LLM 缓存