首发于 机器学习面试整理
切换模式
逻辑回归&线性回归
丹尼尔小博士
计算机视觉博士在读
1 逻辑回归于线性回归的区别于联系
(1)逻辑回归和线性回归首先都是广义的线性回归。
(2)经典线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数。
(3)线性回归在整个实数域范围内进行预测，敏感度一致，而分类范围，需要在[0,1]。逻辑 回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，因而对于这类问题来说，逻辑回归的鲁棒性比线性回归的要好。
或者说，线性回归模型无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。
2 逻辑回归(logistic regression)
逻辑回归的表达式：
逻辑回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0到1之间。线性回归模型的表达式带入g(z)，就得到逻辑回归的表达式:
Logistic函数当z趋近于无穷大时，g(z)趋近于1；当z趋近于无穷小时，g(z)趋近于0。Logistic函数的图形如下：
目的是分类。首先是拟合，然后找分界。
逻辑回归损失函数推导：
逻辑回归参数迭代公式：
其中：
编辑于 2018-10-19 20:54
线性回归
统计学
回归分析
文章被以下专栏收录
