神经网络中激活函数的作用查阅资料和学习,大家对神经网络中激活函数的作用主要集中下面这个观点:
激活函数是用来加入非线性因素的,解决性模型所不能解决的问题。
下面我分别从这个方面通过例子给出自己的理解~
@lee philip@颜沁睿俩位的回答已经非常好了,我举的例子也是来源于他们,在这里加入了自己的思考,更加详细的说了一下~
开讲~
首先我们有这个需求,就是二分类问题,如我要将下面的三角形和圆形点进行正确的分类,如下图:
利用我们单层的感知机, 用它可以划出一条线, 把三角形和圆形样本分割开:
上图直线是由
得到,那么该感知器实现预测的功能步骤如下,就是我已经训练好了一个感知器模型,后面对于要预测的样本点,带入模型中,如果y>0,那么就说明是直线的右侧,也就是正类(我们这里是三角形),如果y,那么就说明是直线的左侧,也就是负类(我们这里是圆形),虽然这和我们的题目关系不大,但是还是提一下~
好吧,很容易能够看出,我给出的样本点根本不是线性可分的,一个感知器无论得到的直线怎么动,都不可能完全正确的将三角形与圆形区分出来,那么我们很容易想到用多个感知器来进行组合,以便获得更大的分类问题,好的,下面我们上图,看是否可行:
原文链接:
http://mp.weixin.qq.com/s/Di5m9TNaF2OsYzCZ4B_SCw