使用 Megatron-LM 后端添加模型
=========================================

最后更新时间：2025/04/25。

模型
-----------

如果使用最新的 verl，我们直接支持 Megatron 后端的 ``GPTModel``。
您可以使用类似 Megatron 的方式预训练自定义模型。
以下是详细步骤：

1. 找到 `model_initializer.py <https://github.com/volcengine/verl/blob/main/verl/models/mcore/model_initializer.py>`_
2. 如果您的模型可以通过 ``TransformerLayerSpec`` 进行配置，您可以
   直接使用 ``GPTModel``。否则，请在此实现一个新的
   ``ModelLayerSpec`` 和 ``ModelLayer``。
3. 使用正确的 ``LayerSpec``、``TransformerConfig`` 和 ``HuggingfaceConfig``
   作为参数来初始化 GPTModel。
4. 最后返回模型。