深度学习调参有哪些技巧 深度学习（deep learning）在训练数据较少时的训练效果如何

深度学习调参有哪些技巧

1.学习率fixed lr从0.01到10的-6或-7就可以了
2.参数初始化：高斯 若某两层的梯度计算相差太大，就要调整小的那层的std了
3.激活函数relu bn
4.数据预处理方式：zero-center
5.梯度裁剪： 限制最大梯度 或者设置阀值，让梯度强制等于10,20等
6.对于小的数据集，dropout=0.5和L2正则化项，效果不错
7.优化方法：SGD Momentum 效果往往可以胜过adam等，虽然adam收敛更快，据说初始几轮momentum设置的小一点会更好，这点待验证。
8.rnn trick batch size=1效果会更好（待验证）

9.early stop 或者 有个初始模型接着训练
10.参数初始化：可以先用随机初始化的方式训练一个简单的网络模型，再将训练好的权值初始化给复杂的网络模型，复杂的网络模型采用高斯初始化可能会更好（VGG）

深度学习（deep learning）在训练数据较少时的训练效果如何？

不比一般的学习方法好。深度学习基于深层神经网络算法，学习过程中的监督性行为较少，模型收敛较慢，学习到的特征的精度依靠的是大规模训练数据。所以，在训练数据较少的情况下，采用人工特征和向量机或浅层神经网络效果较好。