梯度累积引入Mini-batch的概念，首先对每个Mini-batch的数据计算loss和梯度，但不立即更新模型参数，而是先对所得梯度进行累加，然后在指定数量（N）个Mini-batch之后，用累积后的梯度更新网络参数。下次训练前清空过往累积梯度后重新累加，如此往复。最终目的是为了达到跟直接用N*Mini-batch数据训练几乎同样的效果。
在单机模式下，主要通过将训练流程拆分为正向反向训练、参数更新和累积梯度清理三个部分实现梯度累积。
在SEMI_AUTO_PARALLEL和AUTO_PARALLEL模式下使用梯度累积，主要是将累积迭代和更新迭代作为两张图下发并且交替执行。在累积迭代图上，只执行正反向运算及梯度累加。在更新迭代图上，执行正反向运算和参数更新。
通常情况下，定义了正向网络后会使用TrainOneStepCell将网络正反向及优化器关联到一起。但是梯度累积时存在累积和更新两种情况，所以我们要基于原有类定义做一些改造。样例代码如下：
在TrainOneStepCell的基础上，增加累积标记accumulation和累积梯度参数accu_grads的定义，分别用于区分训练流程和保存累积梯度值。在累积迭代图上，accumulation为True，只执行正反向运算并将梯度累加到参数accu_grads。在更新迭代图上，accumulation为False，执行正反向运算和参数更新。在动态loss scale场景下，除了梯度需要累积外，溢出标志位也需要累积判断，可以基于TrainOneStepWithLossScaleCell改造，实现代码如下：
经过cell_wrapper封装的网络已经包含了正反向和优化器实现，我们还需要将数据集对接到网络并实现两张图交替执行。这里基于框架中的Model接口实现上述功能。