机器学习算法的python实现之逻辑回归的实现（LogicalRegression）

机器学习算法的python实现之逻辑回归的实现（LogicalRegression）2015-10-101.背景知识

在刚刚结束的天猫大数据s1比赛中，逻辑回归是大家都普遍使用且效果不错的一种算法。

（1）回归

先来说说什么是回归，比如说我们有两类数据，各有50十个点组成，当我门把这些点画出来，会有一条线区分这两组数据，我们拟合出这个曲线（因为很有可能是非线性），就是回归。我们通过大量的数据找出这条线，并拟合出这条线的表达式，再有数据，我们就以这条线为区分来实现分类。下图是我画的一个数据集的两组数据，中间有一条区分两组数据的线。

（2）sigmoid函数

我们看到了上图中两组数据的划分，那么我们怎么来找出两组数据的边界表达式呢，这里用到sigmoid函数。它的形状大致是（如下），公式<img width="" height="" " src="http://img.ddvip.com/2014/0506/201405060748190980.gif"/>

把数据集的特征值设为x1，x2，x3......。我们要求出它们的回归系数。只要设z=w1*x1+w2*x2.....用sigmoid函数出理是防止数据从0到1发生跳变，因为目标函数是0到1，我们要把带入x1，x2...多项式数据控制在这之间。