在哪里可以查看 TensorFlow 梯度下降主循环?
Where can I have a look at TensorFlow gradient descent main loop?
(对不起,如果这听起来有点幼稚)
我想看看 GradientDescent 的 TensorFlow 实现的实质 - 并亲眼看看它们如何处理终止条件、步长自适应性等。我追踪了 training_ops.apply_gradient_descent
的代码但是我找不到实现:(
TensorFlow Optimizer
接口(GradientDescentOptimizer
实现)定义了单个最小化步骤。终止条件或调整步长由用户实施。在MNIST for Beginners教程中,终止条件是"stop after 1000"步,你可以在for i in range(1000)
循环
中看到
apply_gradient_descent(a,b,c)
是一个融合运算,它将 c
乘以 b
并将其添加到 a
。从 Python 包装器到 Adding a new op HowTo, but as a shortcut you can usually find C++ implementation by converting from snake-case and searching for that, so ApplyGradientDescent
in this case. That leads to implementation in tensorflow/core/kernels/training_ops.cc
中详述的 C++ 实现还有一些额外的间接级别
(对不起,如果这听起来有点幼稚)
我想看看 GradientDescent 的 TensorFlow 实现的实质 - 并亲眼看看它们如何处理终止条件、步长自适应性等。我追踪了 training_ops.apply_gradient_descent
的代码但是我找不到实现:(
TensorFlow Optimizer
接口(GradientDescentOptimizer
实现)定义了单个最小化步骤。终止条件或调整步长由用户实施。在MNIST for Beginners教程中,终止条件是"stop after 1000"步,你可以在for i in range(1000)
循环
apply_gradient_descent(a,b,c)
是一个融合运算,它将 c
乘以 b
并将其添加到 a
。从 Python 包装器到 Adding a new op HowTo, but as a shortcut you can usually find C++ implementation by converting from snake-case and searching for that, so ApplyGradientDescent
in this case. That leads to implementation in tensorflow/core/kernels/training_ops.cc