开发机 下方是在本机执行的单机多卡torchrun分布式参数示例:DISTRIBUTED_ARGS=" --nproc_per_node 8 \ --nnodes 1 \ --node_rank 0 \ --master_addr localhost \ --master_port 65500 " torchrun $DISTRIBUTED_ARGS telespeed/run/llama31/pretrain_gpt.py 网页启动多机训练下方是在平台执行多机多卡训练任务的torchrun分布式参数示例