一种梯度传输方法、梯度传输装置及参数服务器

本申请适用于数据处理技术领域，提供了一种梯度传输方法、梯度传输装置及参数服务器，所述方法包括：计算所述计算节点的当前节点梯度与所述计算节点的旧节点梯度之间的变化量，其中，所述旧节点梯度为所述计算节点在迭代计算梯度过程中上一次计算得到的节点梯度；对所述变化量进行压缩得到压缩变化量；将所述压缩变化量发送至参数服务器，以指示所述参数服务器根据各个计算节点发送的压缩变化量和存储在所述参数服务器上的第一旧总梯度计算得到当前总梯度，其中，所述第一旧总梯度为所述参数服务器在迭代计算梯度过程中上一次计算得到的总梯度。通过上述方法，可以在保证梯度精度损失较少的同时减小计算节点与参数服务器之间的通信量。