向AI转型的程序员都关注了这个号
👇👇👇
大数据挖掘DT数据分析 公众号： datadw
tensorflow是google在2015年开源的深度学习框架，可以很方便的检验算法效果。这两天看了看官方的tutorial，极客学院的文档，
http://wiki.jikexueyuan.com/project/tensorflow-zh/get_started/introduction.html
以及综合tensorflow的源码，把自己的心得整理了一下，作为自己的备忘录。
系列 1：
http://blog.csdn.net/u014595019/article/details/52677412
（一） tensorflow笔记：流程，概念和简单代码注释
（二） tensorflow笔记：多层CNN代码分析
（三） tensorflow笔记：多层LSTM代码分析
（四） tensorflow笔记：常用函数说明
（五） tensorflow笔记：模型的保存与训练过程可视化
（六）tensorflow笔记：使用tf来实现word2vec
系列 2
http://blog.csdn.net/u014595019/article/details/52562159
深度学习笔记(一)：logistic分类
深度学习笔记(二)：简单神经网络，后向传播算法及实现
深度学习笔记(三)：激活函数和损失函数
深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(四)：循环神经网络的概念，结构和代码注释
深度学习笔记(五)：LSTM
深度学习笔记(六)：Encoder-Decoder模型和Attention模型
1.tensorflow的运行流程
tensorflow的运行流程主要有2步，分别是
构造模型
和
训练
。
在构造模型阶段，我们需要构建一个图(Graph)来描述我们的模型。所谓图，也可以理解为流程图，就是将数据的输入->中间处理->输出的过程表示出来，就像下面这样。
注意此时是不会发生实际运算的。而在模型构建完毕以后，会进入训练步骤。此时才会有实际的数据输入，梯度计算等操作。那么，
如何构建抽象的模型呢？
这里就要提到tensorflow中的几个概念:
Tensor,Variable,placeholder
,而在训练阶段，则需要介绍
Session
。下面先解释一些上面的几个概念。
1.1概念描述
1.1.1 Tensor
Tensor的意思是张量，不过按我的理解，其实就是指矩阵。也可以理解为tensorflow中矩阵的表示形式。Tensor的生成方式有很多种，最简单的就如
import tensorflow as tf
a = tf.zeros(shape=[1,2])
不过要注意，因为在训练开始前，所有的数据都是抽象的概念，也就是说，此时a只是表示这应该是个1*5的零矩阵，而没有实际赋值，也没有分配空间，所以如果此时print,就会出现如下情况:
print(a)
#===>Tensor("zeros:0", shape=(1, 2), dtype=float32)
只有在训练过程开始后，才能获得a的实际值
sess = tf.InteractiveSession()print(sess.run(a))
#===>[[ 0. 0.]]
这边设计到Session概念，后面会提到
1.1.2 Variable
故名思议，是变量的意思。一般
用来表示图中的各计算参数
，包括矩阵，向量等。例如，我要表示上图中的模型，那表达式就是
y
=
R
e
l
u
(
W
x
+
b
)
relu是一种激活函数。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。
W和
b是我要用来训练的参数，那么此时这两个值就可以用Variable来表示。Variable的初始函数有很多其他选项，这里先不提，只输入一个Tensor也是可以的
W = tf.Variable(tf.zeros(shape=[1,2]))
注意，此时W一样是一个抽象的概念，而且
与Tensor不同，Variable必须初始化以后才有具体的值
。
tensor = tf.zeros(shape=[1,2])
variable = tf.Variable(tensor)
sess = tf.InteractiveSession()
# print(sess.run(variable)) # 会报错
sess.run(tf.initialize_all_variables())
# 对variable进行初始化
print(sess.run(variable))
#===>[[ 0. 0.]]
1.1.3 placeholder
又叫占位符，同样是一个抽象的概念。用于表示输入输出数据的格式。告诉系统：这里有一个值/向量/矩阵，现在我没法给你具体数值，不过我正式运行的时候会补上的！例如上式中的x和y。因为没有具体数值，所以只要指定尺寸即可
x = tf.placeholder(tf.float32,[1, 5],name='input')
y = tf.placeholder(tf.float32,[None, 5],name='input')
上面有两种形式，第一种x，表示输入是一个[1,5]的横向量。
而第二种形式，表示输入是一个[?,5]的矩阵。那么什么情况下会这么用呢?就是需要输入一批[1,5]的数据的时候。比如我有一批共10个数据，那我可以表示成[10,5]的矩阵。如果是一批5个，那就是[5,5]的矩阵。tensorflow会自动进行批处理
1.1.4 Session
session，也就是会话。我的理解是，
session是抽象模型的实现者
。为什么之前的代码多处要用到session？因为模型是抽象的嘛，只有实现了模型以后，才能够得到具体的值。同样，具体的
参数训练，预测，甚至变量的实际值查询，都要用到session
,看后面就知道了
1.2 模型构建
这里我们使用官方tutorial中的mnist数据集的分类代码，公式可以写作
那么该模型的代码描述为
# 建立抽象模型
