torch.multiprocessing.spawn.ProcessExitedException: process 1 terminated with signal SIGSEGV

在深度学习训练中，训练方式根据并行策略的不同分为模型并行和数据并行。 在 N 卡上使用 torch 进行数据并行训练时，又有两种不同的选择：torch.nn.DataParallel(DP)、torch.nn.DistributedDataParallel(DDP)。 今天的重点是在 Docker 中使用 torch.nn.DataParallel(DP) 进行单机多卡训练。

在当今 AI 飞速发展的时代，模型变得越来越庞大复杂，单块 GPU 的计算能力已逐渐无法满足训练需求。这时，GPU 分布式训练应运而生，它像一个强大的引擎，通过协同多块 GPU 甚至多台机器上的 GPU，将原本漫长的训练过程大幅缩短。这不仅能让我们在更短的时间内迭代模型，探索更广阔的参数空间，也为训练超大规模模型（如大型语言模型和高分辨率图像模型）提供了可能