机器学习中一元线性回归的概念和简单实现

一元线性回归

1.回归

回归一词最早由英国科学家弗朗西斯·高尔顿提出,生物学家.深受进化论思想影响,并把该思想引入到人类研究,从遗传的角度解释个体的差异形成的原因.

高尔顿发现,虽然有一个趋势:父母高,儿女也高,父母矮,儿女也矮.但给定父母的身高,儿女辈的身高却趋向于或者"回归"到全体人口的平均水平.换句话说,即使父母双方都异常高或者异常矮,儿女的身高还是会趋向于人口的平均水平.这也就是所谓的普遍回归规律

1.回归分析(regression analysis)用来建立方程模拟两个或者多个变量之间如何关联

2.被预测的变量叫做:因变量(dependent variable),输出(output)

3.被用来进行预测的变量叫做:自变量(independent variable),输入(input)

4.一元线性回归包含一个自变量和一个因变量

5.两个变量的关系用一条直线来模拟

6.如果包含两个以上的自变量,则称为多元回归分析(multiple regression)

h~θ~(x) = θ~0~ + θ~1~x

这个方程对应的图像是一条直线,称作回归线.其中, θ~1~为回归线的斜率, θ~0~为回归线的截距

1.基本思路:

graph TD
A(Training Set) --> B(Learning Algorithm)
	B --> C(h)

graph LR
A[size of house]  --> B(h)
	B --> C[Estimated price]