线性回归的假设检验
亲爱的朋友们，我们在日常生活中，经常会遇到需要检验假设成立的情况（才不是啊喂！）。
这里我简要记录下我学习三种假设检验方式，即lagrange multiplyer test, likelihood-ratio test 与 wald test的一些记录，希望能够帮到又需要的人
线性回归的检验
模型
假设回归的模型为\(Y=\alpha + \beta x + \epsilon\)
0假设为x于y是uncorrelated，进行回归之后，\(\hat{\alpha}\)和\(\hat{\beta}\)作为截距和slope被计算出来，\(SE_{\hat{\beta}}\)是各个点对于line的standard error。之后计算\(\hat{\beta}\)的t值：
服从自由度为n-2的t-distribution，
其中slope coefficent的standard error是
就是用y的偏差值（自由度为n-2）用x的方差进行归一化
样本的标准差被计作s，就是根号下除以n-1的那个，这样计算出来的样本标准差是整体标准差的无偏估计，也就是\(E(s)=\sigma\)，这个操作叫作bessel‘s correction
bessel’s correction
$$
\sum_{i = 1}^n (x_i - \bar{x}) ^ 2 = \sum (x_i^2 - 2x_i\bar{x} + \bar{x} ^2) = (\sum x_i^2) - 2n\bar{x}^2 + n\bar{x}^2 = \sum x_i^2 - n\bar{x}^2
$$
$$
E(☝) = \sum E(x_i^2) - n E(\bar{x}^2) = \sum (var(x_i) + E(x_i)^2) - n (var(\bar{x}) + E(\bar{x})^2)
$$
其中，
$$
var(x_i) = \sigma, E(x_i) = \mu, E(\bar{x}) = \mu, var(\bar{x}) = \sigma/n
$$
所以上边的等于\(\sum_{(1..n)} (\sigma + \mu^2) - \sigma - n \mu^2\)
两个\(n\mu^2\)消去，剩下一个\((n-1)\sigma\).
所以\(\sum_{i = 1}^n (x_i - \bar{x}) ^ 2\)要除以n-1才是\(\sigma\)的无偏估计
假设检验，以t-test为例
假设检验的目的：
- 双样本检验：检测两个随机变量是不同的，它先从两个随机变量里面各自抽取一些样本，然后对这些样本进行假设检验，这就是two-sample t-test，比如随机分组100个病人到治疗和对照组里面。
- 单样本检验：student-t这个统计量就是把观测量进行“正规化”，也就是用样本均值减去整体均值，除以（样本方差/根号n，n是样本个数）。分母这部分又叫作mean的standard error，是一个statistic的样本的标准差除以根号n。它假设\(\bar{x}\)也就是样本均值服从以\(\mu\)为均值，\(\sigma^2/n\)为方差的normal distribution，检验这个t统计量是否\(～\mathcal{N}(0, 1)\)
Wald test
未完待续...