RoPE 缩放覆盖

最后更新: 2025/05/14。

像 Qwen/Qwen2.5-7B-Instruct 这样的模型支持 RoPE 缩放，但它们的 config.json 文件中并未定义。 例如，该模型支持以下配置:

{
    ...,
    "rope_scaling": {
        "factor": 4.0,
        "original_max_position_embeddings": 32768,
        "type": "yarn"
    }
}

为了支持这类模型的更长上下文，您必须在启动 trainer 时覆盖模型配置。

PPO 示例:

+actor_rollout_ref.model.override_config.rope_scaling.type=yarn \
+actor_rollout_ref.model.override_config.rope_scaling.factor=4.0 \
+actor_rollout_ref.model.override_config.rope_scaling.original_max_position_embeddings=32768 \

以及 critic 模型

+critic.model.override_config.rope_scaling.type=yarn \
+critic.model.override_config.rope_scaling.factor=4.0 \
+critic.model.override_config.rope_scaling.original_max_position_embeddings=32768 \