专栏名称: 大数据挖掘DT数据分析
实战数据资源提供。数据实力派社区,手把手带你玩各种数据分析,涵盖数据分析工具使用,数据挖掘算法原理与案例,机器学习,R语言,Python编程,爬虫。如需发布广告请联系: hai299014
目录
相关文章推荐
大数据分析和人工智能  ·  10万字、近20家企业BI智能分析决策合集( ... ·  4 天前  
数据派THU  ·  大模型的智能从哪里来? ·  3 天前  
数据派THU  ·  用PyTorch从零构建 DeepSeek ... ·  4 天前  
数据派THU  ·  原创 | Deepseek R1技术思考 ·  2 天前  
51好读  ›  专栏  ›  大数据挖掘DT数据分析

tensorflow系列笔记:流程,概念和代码解析

大数据挖掘DT数据分析  · 公众号  · 大数据  · 2017-11-03 18:42

正文

向AI转型的程序员都关注了这个号 👇👇👇


大数据挖掘DT数据分析  公众号: datadw


tensorflow是google在2015年开源的深度学习框架,可以很方便的检验算法效果。这两天看了看官方的tutorial,极客学院的文档,

http://wiki.jikexueyuan.com/project/tensorflow-zh/get_started/introduction.html


以及综合tensorflow的源码,把自己的心得整理了一下,作为自己的备忘录。


系列 1:

http://blog.csdn.net/u014595019/article/details/52677412


(一)  tensorflow笔记:流程,概念和简单代码注释
(二) tensorflow笔记:多层CNN代码分析
(三)  tensorflow笔记:多层LSTM代码分析
(四)  tensorflow笔记:常用函数说明
(五) tensorflow笔记:模型的保存与训练过程可视化
(六)tensorflow笔记:使用tf来实现word2vec



系列 2

http://blog.csdn.net/u014595019/article/details/52562159


深度学习笔记(一):logistic分类
深度学习笔记(二):简单神经网络,后向传播算法及实现
深度学习笔记(三):激活函数和损失函数
深度学习笔记:优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(四):循环神经网络的概念,结构和代码注释
深度学习笔记(五):LSTM
深度学习笔记(六):Encoder-Decoder模型和Attention模型


1.tensorflow的运行流程

tensorflow的运行流程主要有2步,分别是 构造模型 训练

在构造模型阶段,我们需要构建一个图(Graph)来描述我们的模型。所谓图,也可以理解为流程图,就是将数据的输入->中间处理->输出的过程表示出来,就像下面这样。


注意此时是不会发生实际运算的。而在模型构建完毕以后,会进入训练步骤。此时才会有实际的数据输入,梯度计算等操作。那么, 如何构建抽象的模型呢? 这里就要提到tensorflow中的几个概念: Tensor,Variable,placeholder ,而在训练阶段,则需要介绍 Session 。下面先解释一些上面的几个概念。


1.1概念描述


1.1.1 Tensor

Tensor的意思是张量,不过按我的理解,其实就是指矩阵。也可以理解为tensorflow中矩阵的表示形式。Tensor的生成方式有很多种,最简单的就如


import tensorflow as tf

a = tf.zeros(shape=[1,2])


不过要注意,因为在训练开始前,所有的数据都是抽象的概念,也就是说,此时a只是表示这应该是个1*5的零矩阵,而没有实际赋值,也没有分配空间,所以如果此时print,就会出现如下情况:

print(a)
#===>Tensor("zeros:0", shape=(1, 2), dtype=float32)


只有在训练过程开始后,才能获得a的实际值

sess = tf.InteractiveSession()print(sess.run(a))
#===>[[ 0.  0.]]



这边设计到Session概念,后面会提到


1.1.2 Variable

故名思议,是变量的意思。一般 用来表示图中的各计算参数 ,包括矩阵,向量等。例如,我要表示上图中的模型,那表达式就是


y = R e l u ( W x + b )


relu是一种激活函数。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数,那么该网络仅能够表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网络也是等价的。因此也可以认为,只有加入了激活函数之后,深度神经网络才具备了分层的非线性映射学习能力。


W和 b是我要用来训练的参数,那么此时这两个值就可以用Variable来表示。Variable的初始函数有很多其他选项,这里先不提,只输入一个Tensor也是可以的


W = tf.Variable(tf.zeros(shape=[1,2]))


注意,此时W一样是一个抽象的概念,而且 与Tensor不同,Variable必须初始化以后才有具体的值

tensor = tf.zeros(shape=[1,2])
variable = tf.Variable(tensor)
sess = tf.InteractiveSession()
# print(sess.run(variable))  # 会报错
sess.run(tf.initialize_all_variables()) 
# 对variable进行初始化
print(sess.run(variable)) #===>[[ 0.  0.]]




1.1.3 placeholder

又叫占位符,同样是一个抽象的概念。用于表示输入输出数据的格式。告诉系统:这里有一个值/向量/矩阵,现在我没法给你具体数值,不过我正式运行的时候会补上的!例如上式中的x和y。因为没有具体数值,所以只要指定尺寸即可

x = tf.placeholder(tf.float32,[1, 5],name='input')
y = tf.placeholder(tf.float32,[None, 5],name='input')


上面有两种形式,第一种x,表示输入是一个[1,5]的横向量。
而第二种形式,表示输入是一个[?,5]的矩阵。那么什么情况下会这么用呢?就是需要输入一批[1,5]的数据的时候。比如我有一批共10个数据,那我可以表示成[10,5]的矩阵。如果是一批5个,那就是[5,5]的矩阵。tensorflow会自动进行批处理



1.1.4 Session

session,也就是会话。我的理解是, session是抽象模型的实现者 。为什么之前的代码多处要用到session?因为模型是抽象的嘛,只有实现了模型以后,才能够得到具体的值。同样,具体的 参数训练,预测,甚至变量的实际值查询,都要用到session ,看后面就知道了


1.2 模型构建

这里我们使用官方tutorial中的mnist数据集的分类代码,公式可以写作


那么该模型的代码描述为


# 建立抽象模型







请到「今天看啥」查看全文