RNN的学习率

训练RNN时，有些优化算法需要大学习率才能训练出来，下面列出一些优化算法推荐使用的学习率量级：

• SGD: 1
• Adagrad: 0.1
• Adadelta: 1
• Adam: 0.001