CTranslate2

CTranslate2 是一个 C++ 和 Python 库， 用于高效地进行 Transformer 模型的推理。

该项目实现了一个自定义运行时，应用了许多性能优化技术， 如权重量化、层融合、批次重排等，以加速和减少 CPU 和 GPU 上 Transformer 模型的内存使用。

完整的功能和支持的模型列表包含在项目仓库中。 入门请查看官方的快速入门指南。

安装和设置

安装 Python 包：

pip install ctranslate2

LLMs

请参阅用法示例。

from langchain_community.llms import CTranslate2

API Reference:CTranslate2