- 形式:
采用sigmoid函数:g(z)=11+e−z
其导数为g′(z)=(1−g(z))g(z)
假设:
即:
若有m个样本,则似然函数形式是:
对数形式:
采用梯度上升法求其最大值
求导:
更新规则为:
可以发现,则个规则形式上和LMS更新规则是一样的,然而,他们的分界函数hθ(x) 却完全不相同了(逻辑回归中h(x)是非线性函数)。关于这部分内容在GLM部分解释。
注意:若h(x)不是sigmoid函数而是阈值函数:
这个算法称为感知学习算法。虽然得到更新准则虽然相似,但与逻辑回归完全不是一个算法了。 - 另一种最大化似然函数的方法–牛顿逼近法
- 原理:假设我们想得到一个函数的过零点
f(θ)=0 ,可以通过一下方法不断更新θ 来得到:
其直观解释如下图:
给定一个初始点θ0 ,如果f(θ0) 和其导数同号说明过零点在初始点左边,否则在初始点右边,将初始点更新过该店的切线的过零点继续上述步骤,得到的切线过零点会不断逼近最终所要求的函数过零点。 - 应用: 在逻辑回归中,我们要求似然函数的最大(最小)值,即似然函数导数为0, 因此可以利用牛顿逼近法:
由于lr算法中θ 是一个向量,上式改写为:
其中H为Hessian矩阵:
牛顿法往往比(批处理)梯度下降法更快收敛。
- 原理:假设我们想得到一个函数的过零点