机器学习算法 - 逻辑斯蒂回归

简洁起见，省略了偏置 b；也可以看做将偏置扩充到了权重中

《统计学习方法》 6.1 逻辑斯蒂回归模型

原书中记作 π(x) 和 1-π(x)，这里为了跟神经网络中统一，使用 σ

逻辑回归推导 - 罐装可乐 - 博客园

1. 逻辑斯蒂回归的定义
2. 损失函数（极大似然）
3. 参数优化（梯度下降）

• 给定训练集 T={(x1,y1),..,(xN,yN)}，其中 x ∈ R^n, y ∈ {0, 1}

1. 逻辑斯蒂回归 的定义：
2. 负对数函数 作为损失函数： 进一步代入 σ(x) 有：
3. 求梯度
4. 使用梯度下降法 求解参数：深度学习/梯度下降法

• 设 Y ∈ {1,2,..K}，则多项式逻辑斯蒂回归模型为：
• 类似 Softmax