CNTK 学习者示例

Question

我一直在浏览 Microsft 的 Python CNTK 教程 2 Beta 9.0。我还没有找到带有推荐值示例的好文档，以传递给可用的不同学习者。我已经能够让以下学习者参与 CNTK 103：B 部分 - 使用 MNIST 的前馈网络 教程：

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, sgd(z.parameters, lr=lr_per_minibatch))

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, adagrad(z.parameters, lr=lr_per_minibatch))

    lr_per_minibatch=learning_rate_schedule(0.05, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, adam_sgd(z.parameters, lr=lr_per_minibatch, momentum=momentum_as_time_constant_schedule(700) ))

    lr_per_minibatch=learning_rate_schedule(0.2, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, nesterov(z.parameters, lr=lr_per_minibatch, momentum=momentum_as_time_constant_schedule(700) ))

    lr_per_minibatch=learning_rate_schedule(0.1, UnitType.minibatch)
    trainer = Trainer(z, ce, pe, rmsprop(z.parameters, lr=lr_per_minibatch, gamma=0.90, inc=0.03, dec=0.03, max=0.1, min=0.1 ))

这些工作，但有没有人有每个培训师收到的参数推荐值的好例子？

Answer 1

对于当前学习者来说，最佳参数取决于数据和您要解决的问题。因此很难提供好的建议。一个典型的建议是，如果学习率有效，那么所有较小的学习率都将有效，但您必须运行更长的时间（即对数据进行更多扫描）。

CNTK 学习者示例

Examples for CNTK Learners

machine-learning

cntk