我们在 OneFlow #75f11b8 上进行了 OneFlow GPT 相关的测试。使用的 python 版本 3.7, cuda 11.2, cudnn 8.1.1, nccl 2.8.3。
为了节省用户自己编译打包 OneFlow 的时间，我们提供了已打包好的 OneFlow #75f11b8 wheel 包。下载安装命令如下：
cd OneFlow-Benchmark/LanguageModeling/GPT wget https://oneflow-public.oss-cn-beijing.aliyuncs.com/GPT/package/oneflow-0.3.5%2Bcu112.git.75f11b825-cp37-cp37m-manylinux2014_x86_64.whl python3 -m pip install oneflow-0.3.5+cu112.git.75f11b825-cp37-cp37m-manylinux2014_x86_64.whl python3 -m pip install -e . 为了节省用户配置环境的时间，我们提供了 oneflow-manylinux2014-cuda11.2 镜像供容器方式使用。镜像通过以下命令下载和加载：
wget https://oneflow-static.oss-cn-beijing.aliyuncs.com/docker_images/oneflow-manylinux2014-cuda11.2-0.1.tar.gz docker load -i oneflow-manylinux2014-cuda11.2-0.1.tar.gz 以上镜像中并没有预先安装 OneFlow 的包，可以使用 tools 中的 launch_container.py 脚本来启动容器并启动预训练任务。在容器环境中训练 OneFlow GPT 时，不需要预先用 pip 来安装 OneFlow 和 OneFlow GPT，而是需要把 OneFlow wheel 包路径和 OneFlow GPT 源码路径作为参数传入 launch_container.py 脚本，后面会详细介绍。
训练数据需要预处理。目前 OneFlow 数据预处理的过程和使用脚本参考 Megatron-LM GPT。
首先，将训练数据json格式保存，json的每行包含一个文本样本，数据放在text字段中，例如：
{"src": "www.nvidia.com", "text": "The quick brown fox", "type": "Eng", "id": "0", "title": "First Part"} {"src": "The Internet", "text": "jumps over the lazy dog", "type": "Eng", "id": "42", "title": "Second Part"} 可以使用preprocess_data.py中的--json-key标志更改json文件text的名称，其他字段是可选的，并且在处理过程中不使用。
然后将json文件处理为二进制格式以进行训练，处理命令如下：
python3 tools/preprocess_data.py \ --input my-corpus.json \ --output-prefix gpt_sample_dataset \ --vocab gpt2-vocab.json \ --dataset-impl mmap \ --tokenizer-type GPT2BPETokenizer \ --merge-file gpt2-merges.txt \ --append-eod 在这里，输出文件名为 gpt_sample_dataset_text_document.bin 和 gpt_sample_dataset_text_document.idx，是由 --output-prefix 参数加固定后缀 _text_document.bin 和 _text_document.idx 组合而成。
在后面会介绍的 GPT 的训练中，将会把不带扩展名的文件路径 path/to/gpt_sample_dataset_text_document 作为 --dataset 参数传入作为训练用数据集。
参数介绍：
--input: 输入文件，即前面介绍的预处理好的json文件--output-prefix: 输出文件前缀--vocab: 词表文件--dataset-impl: 数据集格式，可设置为mmap，cached或lazy（默认为mmap）--tokenizer-type: token解析器类型--merge-file: BPE分词所需的merge文件--append-eod: 添加文件结束标志
进一步的命令行参数在源文件preprocess_data.py中描述。
词表文件 gpt2-vocab.json 和 BPE 分词所需 merge 文件 gpt2-merges.txt 可以直接下载。
我们测试使用的语料文件 openwebtext.json 是下载 openwebtext.tar.xz 后，然后通过工具转换而来。由于文件过大，暂不提供下载地址。
注：我们使用的语料文件只供测试使用，只是简单生成 json 格式语料文件，没有做过滤，清洗，去重等工作。
preprocess_data.py 的结果我们提供了直接下载的方式 gpt_sample_dataset_text_document.bin, gpt_sample_dataset_text_document.idx。
bash example/pretrain_345M.sh 这个脚本启动一个在单 GPU 上的拥有 345M 大小参数的 GPT 模型预训练任务。如果用户测试所使用的的 GPU 的显存比较小，也可以尝试使用更小参数的模型版本 pretrain_117M.sh。
用户如果想调整某些参数，也可以手动调用 training.py:
python3 -m oneflow_gpt.training \ --num-layers 24 \ --hidden-size 1024 \ --num-attention-heads 16 \ --micro-batch-size 4 \ --global-batch-size 8 \ --num-gpus-per-node 1 \ --train-iters 500000 \ --learning-rate 0.00015 \ --dataset gpt_sample_dataset_text_document \ --seq-length 1024 \ --split 949,50,1 \ --min-lr 1.0e-5 \ --lr-decay-style cosine \ --lr-decay-iters 320000 \ --lr-warmup-fraction 0.01 \ --weight-decay 1e-2 \ --optimizer adamw \ --clip-grad 1.0 \ --vocab-size 50257 \ --load checkpoint \ --save checkpoint \ --save-interval 10000 \ --log-interval 100 \ --checkpoint-activations \ --multihead-attention-fusion \ --fp16 python3 tools/launch_container.py \ --src $PWD \ --py 3.7 \ --image oneflow-manylinux2014-cuda11.2:0.1 \ --wheel oneflow-0.3.5+cu112.git.75f11b825-cp37-cp37m-manylinux2014_x86_64.whl \ --cmd "python3 -m oneflow_gpt.training \ --dataset gpt_sample_dataset_text_document \ --seq-length 1024 \ --num-layers 24 \ --hidden-size 1024 \ --num-attention-heads 16 \ --micro-batch-size 4 \ --global-batch-size 8 \ --tensor-model-parallel-size 1 \ --pipeline-model-parallel-size 1 \ --num-gpus-per-node 1 \ --train-iters 500000 \ --learning-rate 0.00015 \ --min-lr 1.0e-5 \ --lr-decay-style cosine \ --lr-decay-iters 320000 \ --lr-warmup-fraction 0.01 \ --initial-loss-scale 4294967296 \ --optimizer adamw \ --weight-decay 1e-2 \ --clip-grad 1.0 \ --vocab-size 50257 \ --split 949,50,1 \ --load checkpoint \ --save checkpoint \ --save-interval 10000 \ --log-interval 100 \ --checkpoint-activations \ --multihead-attention-fusion \ --fp16" 可以利用 tools/launch_container.py 脚本来在容器中执行 GPT 的预训练任务。我们需要提供源码位置（--src）、容器镜像（--image）、python 版本（--py）、还有 OneFlow wheel 包位置（--wheel）等参数，最后还要通过 --cmd 参数来传递我们想要执行的 GPT Pretrain 的脚本命令。
当我们想训练更大的隐层（--hidden-size），更深层次的网络时(--num-layers)，往往要利用并行训练的技术。这个时候我们需要关注以下重要的参数:
--tensor-model-parallel-size: 模型并行数--pipeline-model-parallel-size: 流水并行数
配合以上参数，结合之前已经使用过的 --num-gpus-per-node、--num-nodes 就可以推导出并行训练的全貌。其中还包含2个隐式的参数（不用手动配置，由其他参数推导）:
world_size: 全部的设备数，等于--num-gpus-per-node*--num-nodesdata_parallel_size: 数据并行数。等于world_size//--tensor-model-parallel-size//--pipeline-model-parallel-size
同时了为了达到更好的训练效果，我们一般还会配置梯度累加（--num-accumulation-steps）。流水并行时一般需要配置梯度累加才能达到较好的效果。--num-accumulation-steps 与 --micro-batch-size 和 --global-batch-size 存在以下关系：
--global-batch-size == --micro-batch-size * data_parallel_size * --num-accumulation-steps
如果我们是在单机多卡上运行并行训练，则启动方式与之前的单设备并无差异。以下是单机8卡上，数据和模型混合并行的示例（不带流水并行）:
bash examples/pretrain_1n8d_2x4x1_16_1536x16.sh 如果需要进一步扩充设备数量，由于单台机器适配的 GPU 设备数量有限，我们需要更多的物理机器 node。此时，我们需要配置 --num-nodes 和 --node-ips 参数，并且分别在每台机器上启动训练命令（traning.py）。同时在有 rdma 的环境中，可以开启 export ONEFLOW_COMM_NET_IB_ENABLE=1 来带来更佳的训练效率。以下是4机8卡下，各种并行方式混合的示例：
bash examples/distribute_pretrain_4n8d_2x4x4_512_2304x24.sh 更多的参数配置见 config.py
进行下游任务前需要提前下载好下游任务数据集LAMBADA dataset.同时需要下载词表文件 gpt2-vocab.json 和 BPE 分词所需 merge 文件 gpt2-merges.txt。
-
VALID_DATA=/path/to/lambada_test.json，指定下游任务数据集路径VOCAB_FILE=/path/to/gpt2-vocab.json，指定词表文件路径MERGE_FILE=/path/to/gpt2-merges.txt，指定上述中的merge文件路径CHECKPOINT_PATH=/path/to/model，指定训练好的模型路径dropout_rate=0.0，执行下游任务时，此dropout指需为0
注：执行下游任务时，
lambada_cloze_accuracy.sh中的hidden_size、num_attn_heads、num_layers、seq_length等参数需要和训练的模型参数一致。即如果训练模型时使用的基础参数为hidden_size=768,num_attn_heads=12,num_layers=12,seq_length=1024，那么执行下游任务时也需要使用同样的参数。
bash examples/lambada_cloze_accuracy.sh