怎样用PyTorch实现多GPU分布式训练

习需要基于大量数据训练深度神经网络，它包含大量的参数。分布式计算是能够充分利用现代硬件的***工具。下面是它的核心思想：

精心设计的分布式算法可以做到：

• 为了连贯处理，在多个节点上「分配」计算(深度学习模型中的前向传播和反向传播)和数据。
• 为了实现一致性，它能够在多个节点上建立一种有效的「同步」。

MPI：分布式计算标准

你还必须习惯另一个术语——消息传递接口(MPI)。MPI 几乎是所有分布式计算的主力。MPI 是一个开放标准，它定义了一系列关于节点互相通信的规则，MPI 也是一个编程模型/API。MPI 不是一款软件或者工具，它是一种规范。

1991 年夏天，一批来自学术界和产业界的组织和个人聚在一起，最终创建了 MPI 论坛(MPI Forum)。该论坛达成了一个共识，为一个库起草了语法和语义规范，为不同硬件提供商提出可移植/灵活/优化的实现提供指导。多家硬件提供商都有自己的 MPI 实现——OpenMPI、MPICH、MVAPICH、Intel MPI 等。

在这份教程中，我们将会使用 Intel MPI，因为它十分高效，而且也针对 Intel 平台做了优化。原始的 Intel MPI 是一个 C 语言库，并且级别非常低。

配置

对分布式系统而言，合适的配置是非常重要的。如果没有合适的硬件和网络布置，即使你对它的编程模型有着概念上的理解，也是没多大用的。下面是需要做的关键布置：

• 通常需要由一系列通过通用网络互联形成集群的节点。推荐使用高端服务器作为节点，以及高带宽的网络，例如 InfiniBand。
• 集群中的所有节点都需要具有完全相同用户名的 Linux 系统。
• 节点之间必须拥有无密码 SSH 连接，这对无缝连接至关重要。
• 必须安装一种 MPI 实现。本文只聚焦于 Intel MPI。
• 需要一个共同的文件系统，它对所有的节点都是可见的，而且分布式应用必须驻留在上面。网络文件系统(NFS，Network Filesystem)是实现此目的一种方式。

并行策略的类型

并行深度学习模型有两种流行的方式：

• 模型并行
• 数据并行

1. 模型并行

模型并行指的是一个模型从逻辑上被分成了几个部分(例如，一些层在一部分，其他层在另一部分)，然后把它们部署在不同的硬件/设备上。

尽管从执行时间上来看，将模型的不同部分部署在不同设备上确实有好处，但是它通常是出于避免内存限制才使用。具有特别多参数的模型会受益于这种并行策略，因为这类模型需要很高的内存占用，很难适应到单个系统。

2. 数据并行

另一方面，数据并行指的是，通过位于不同硬件/设备上的同一个网络的多个副本来处理数据的不同批(batch)。不同于模型并行，每个副本可能是整个网络，而不仅仅是一部分。

正如你可能猜到的，这种策略随着数据的增长可以很好地扩展。但是，由于整个网络必须部署在一个设备上，因此可能无法帮助到

（编辑：通化站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!