干货|吴恩达 DeepLearning.ai 课程提炼笔记（1-2）神经网络和深度学习 --- 神经网络基础

1

二分类问题

目标数据的形状：

2

 logistic Regression

注意点：函数的一阶导数可以用其自身表示，

3

  logistic回归 损失函数

Loss function

一般经验来说，使用平方错误（squared error）来衡量Loss Function：

但是，对于logistic regression 来说，一般不适用平方错误来作为Loss Function，这是因为上面的平方错误损失函数一般是非凸函数（non-convex），其在使用低度下降算法的时候，容易得到局部最优解，而不是全局最优解。因此要选择凸函数。

逻辑回归的Loss Function：

Cost function

全部训练数据集的Loss function总和的平均值即为训练集的代价函数（Cost function）。

• Cost function是待求系数w和b的函数；

• 我们的目标就是迭代计算出最佳的w和b的值，最小化Cost function，让其尽可能地接近于0。

4

 梯度下降

5

 逻辑回归中的梯度下降法

对单个样本而言，逻辑回归Loss function表达式：

转自：机器学习算法与自然语言处理

完整内容请点击“阅读原文”