【学习】神经网络常用激活函数对比：sigmoid VS sofmax（附python源码）

Softmax函数VS Sigmoid函数
在学习逻辑回归概念时，主要的困惑在于计算概率的函数，由于在逻辑回归模型中会使用计算出的概率来预测目标类别，经常用到的两个函数是Softmax和Sigmoid函数。
从函数水平（帮助预测目标类别）上来看，这两个函数是相同的，但存在许多明显的数学差异，应用在深度学习和其他领域中，发挥了至关重要的作用。
所以在这篇文章中将进一步了解这两个函数及其应用之间的根本区别。

在开始之前，介绍本文的目录：

• 什么是S型函数？
  

• S形函数的性质
  

• Sigmoid函数的使用
  

• 在Python中实现Sigmoid函数
  

• 创建Sigmoid函数图像形 
  

• 什么是Softmax函数？
  

• Softmax函数的性质
  

• Softmax函数的使用
  

• 在Python中实现Softmax函数
  

• 创建Softmax函数图像形 
  

• Sigmoid函数与Softmax函数之间的差异
  

• 结论 
  

什么是S型函数？

从数学定义上来看，Sigmoid函数取任何范围的实数，返回的输出值在0到1的范围内。S形函数产生“S”型曲线，这些曲线也用于统计，使用累积分布函数（输出范围为0到1）。
S形函数的性质

• sigmoid函数返回一个实值输出。
  

• S形函数的一阶导数是非负的或非正的。

1. 非负数：如果数字大于或等于零。
   

2. 非正数：如果数字小于或等于零。
   

Sigmoid函数的使用

• Sigmoid函数用于逻辑回归模型中的二进制分类。
  

• 在创建人造神经元时，Sigmoid函数用作激活函数。
  

• 在统计学中，S形函数图像是常见的累积分布函数。

原文链接：

https://yq.aliyun.com/articles/73661