自定义反向传播

我正在尝试Tensorflow,并遇到以下问题

我要使用迭代

w_{t} := w_{t} - ag_{t-1}

其中t是时间,a是学习率,并且g(0)是预先指定的。由于渐变不是可训练的权重,因此我无法简单地对其进行初始化。任何建议表示赞赏。

谢谢

wslky 回答:自定义反向传播

我不确定我是否完全理解你的问题。为什么不将您的梯度(这里称为G)初始化为与w_t形状相同的零张量?然后,如果要实现SGD,则可以在G上从随机批次中累积每个样本的梯度,最后更新w_t。

本文链接:https://www.f2er.com/3127042.html

大家都在问