机器学习算法 - 逻辑斯蒂回归

逻辑斯蒂回归,决策树,支持向量机,梯度提升决策树 GBDT,随机森林

逻辑斯蒂回归模型定义

二项 逻辑斯蒂回归模型即如下的条件概率分布

简洁起见,省略了偏置 b;也可以看做将偏置扩充到了权重中

其中 通常会将以上两个分布记作:

《统计学习方法》 6.1 逻辑斯蒂回归模型

原书中记作 π(x)1-π(x),这里为了跟神经网络中统一,使用 σ

逻辑斯蒂回归推导

逻辑回归推导 - 罐装可乐 - 博客园

  1. 逻辑斯蒂回归的定义
  2. 损失函数(极大似然)
  3. 参数优化(梯度下降)
  • 给定训练集 T={(x1,y1),..,(xN,yN)},其中 x ∈ R^n, y ∈ {0, 1}
  1. 逻辑斯蒂回归 的定义:
  2. 负对数函数 作为损失函数: 进一步代入 σ(x) 有:
  3. 求梯度
  4. 使用梯度下降法 求解参数:深度学习/梯度下降法

多分类逻辑斯蒂回归模型 TODO

  • Y ∈ {1,2,..K},则多项式逻辑斯蒂回归模型为:
  • 类似 Softmax