小白求问一下加权最小二乘法是啥在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x&#

小白求问一下加权最小二乘法是啥在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x&#

呃,楼上是个广告男……加权最小二乘（WLS）最一般的用法是克服异方差.比方说,现在有一个多元回归y = bX + e（矩阵表示,【X'】代表矩阵X转置）.原来的一般最小二乘（OLS）公式是b = (X'X)^(-1) * X'y而在异方差情况下,由于不满足OLS的五大假定,因此OLS的结果不再有效（not efficient,不是not valid）.因此相应的做法是将异方差矩阵分解,并左乘到回归模型中,得到的结果就是WLS回归.比如说,异方差阵为W,且W的逆可以分解为W^(-1) = P'P,那么经过一系列推导（略,可以找一本计量的课本,参考异方差相应章节）,可以知道b* = (X'P'PX)^(-1) * X'P'Py换言之,正如题主所言,要用矩阵P去变换这个X和y,从而得到WLS回归,其中W矩阵里的元素,就是权重（weight）.至于选择什么权重,就取决于W矩阵的设定形式.举个简单的例子,设一个一元回归y = bx + e,而扰动项e的方差协方差阵W是一个对角矩阵,即W = diag(s1,s2,...,sn),其中si代表第i个对角元,si ≠ sj那么W^(-1) = diag(1/s1,1/s2,...,1/sn)如果用sqrt(a)表示a的开方,那么P矩阵就是P = diag(sqrt(1/s1),...sqrt(1/sn))从而说b* = Σ(xi * yi/si) / Σ(xi * xi/si)可以看到,权重在这里是1/si,而对数据的变换方法是每个数据都乘以sqrt(1/si)至于更复杂的设定形式（如 ln x 等）,代表更复杂的方差协方差阵W的设定.这里不再展开.有兴趣可以参考计量经济学教材（如,伍德里奇的）,有更详细的推导.======以下答案可供参考======供参考答案1:

感谢回答，我学习了

如以上回答内容为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！

点此我要举报以上问答信息