多模态示例架构

最后更新：2025/04/28。

介绍

现在，verl 已支持多模态训练。你可以使用 fsdp 和 vllm/sglang 来启动一个多模态 RL 任务。Megatron 的支持也在进行中。

请按照以下步骤快速启动一个多模态 RL 任务。

第一步：准备数据集

# 它将被保存在 $HOME/data/geo3k 文件夹中
python examples/data_preprocess/geo3k.py

第二步：下载模型

# 从 huggingface 下载模型
python3 -c "import transformers; transformers.pipeline(model='Qwen/Qwen2.5-VL-7B-Instruct')"

第三步：使用多模态模型在 Geo3K 数据集上执行 GRPO 训练

# 运行任务
bash examples/grpo_trainer/run_qwen2_5_vl-7b.sh