autoencoder怎么在深度学习架构上实现 深度学习的模型并行是什么原理

autoencoder怎么在深度学习架构上实现

这一段时间因为工作的原因，有了更多的时间，于是感兴趣学习了深度学习的相关内容，参考了大牛们编写MATLAB，C，Python等版本，自己重新捡起Python，小试牛刀，基本完成了autoencoder的主要功能，并通过小例子进行验证。
什么是深度学习？深度学习的目的又是什么？深度学习即通过多层模型，学习事物的特征，最后得到反映事物本质的真正特征，比如我们要看一段话，首先我们看到的是每一个字，然后不同的字组成不同的词，然后这些词组成一句话，最后这些句子组成了一段话，从字到段，这些特征从低级到高级，所表达的意思越来越清晰，深度学习类似，也就是从最简单的特征，映射到另外一个更具本质的特征，具体可以参考博客zouxy09的专栏
回归到正题，本次是要对au

深度学习的模型并行是什么原理

最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重，自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征，在研究中可以发现，如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还要好！这种方法称为AutoEncoder。当然，我们还可以继续加上一些约束条件得到新的Deep Learning方法，如如果在AutoEncoder的基础上加上L1的Regularity限制（L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源），我们就可以得到Sparse AutoEncoder方法。