升级到 vLLM >= 0.8

最后更新：2025/04/05。

安装

注意：此版本的 verl+vLLM 0.8+ 支持 FSDP 进行训练，并支持 vLLM 进行部署。

# 创建 conda 环境
conda create -n verl python==3.10
conda activate verl

# 安装 verl
git clone https://github.com/volcengine/verl.git
cd verl
pip3 install -e .

# 安装最新稳定版本的 vLLM
pip3 install vllm==0.8.3

# 安装 flash-attn
pip3 install flash-attn --no-build-isolation

我们提供了 verl+vLLM 0.8.3 的预构建 Docker 镜像。您可以使用以下命令直接导入：

docker pull hiyouga/verl:ngc-th2.6.0-cu126-vllm0.8.3-flashinfer0.2.2-cxx11abi0

功能

vLLM 0.8+ 在 verl 中默认支持 CUDA Граф（graph）和 V1 引擎。要启用这些功能，请记得在 bash 脚本中添加以下行：

actor_rollout_ref.rollout.enforce_eager=False \
actor_rollout_ref.rollout.free_cache_engine=True \

并且，如果存在，请移除该环境变量：

注意事项

当您直接升级 vllm>=0.8 时，一些依赖包的版本可能会发生变化。如果您遇到以下问题：

in <module> from torch.multiprocessing.reductions import ForkingPickler ImportError: cannot import name 'ForkingPickler' from 'torch.multiprocessing.reductions' (/opt/conda/lib/python3.11/site-packages/torch/multiprocessing/reductions.py)

您需要使用命令 pip install tensordict==0.6.2 将 tensordict 升级到 0.6.2 版本。