偏最小二乘回归方法及其应用.htm

一个简单的pls程序吧

size=3>值上，岭迹中的回归系数已变得比较稳定，并且方差膨胀因子也变得足够小。</P>
<P align=justify>从理论上，最佳的</FONT><FONT size=3>c</FONT><FONT lang=ZH-CN face=宋体 
size=3>值是存在的，它可以使估计量的偏差和方差的组合效应达到一个最佳水准。然而，困难却在于</FONT><FONT 
size=3>c</FONT><FONT lang=ZH-CN face=宋体 
size=3>的最优值对不同的应用而有所不同，对其选择还只能凭经验判断。</P></FONT><B><FONT lang=ZH-CN face=宋体>
<P align=justify>其他补救方法简介</P></B></FONT><FONT lang=ZH-CN face=宋体 size=3>
<P 
align=justify>最常见的一种思路是设法去掉不太重要的相关性变量。由于变量间多重相关性的形式十分复杂，而且还缺乏十分可靠的检验方法，删除部分多重相关变量的做法常导致增大模型的解释误差，将本应保留的系统信息舍弃，使得接受一个错误结论的可能和做出错误决策的风险都不断增长。另一方面，在一些经济模型中，从经济理论上要求一些重要的解释变量必须被包括在模型中，而这些变量又存在多重相关性。这时采用剔除部分相关变量的做法就不符合实际工作的要求。</P>
<P 
align=justify>另一种补救的办法是增加样本容量。然而，在实际工作中，由于时间、经费以及客观条件的限制，增大样本容量的方法常常是不可行的。</P>
<P 
align=justify>此外，还可以采用变量转换的方式，来削弱多重相关性的严重性。一阶差分回归模型有可能减少多重相关性的严重性。然而，一阶差分变换又带来了一些其它问题。差分后的误差项可能不满足总体模型中关于误差项不是序列相关的假定。事实上，在大部分情形下，在原来的误差项是不自相关的条件下，一阶差分所得到的误差项将会是序列相关的。而且，由于差分方法损失了一个观察值，这在小样本的情况下是极不可取的。另外，一阶差分方法在截面样本中是不宜利用的。</P></FONT><B><FONT 
face=Arial size=3>
<P align=justify>1 </FONT><FONT lang=ZH-CN face=黑体 
size=3>主成分分析</P></B></FONT><FONT lang=ZH-CN face=宋体 size=3>
<P 
align=justify>主成分分析的计算结果必然受到重叠信息的影响。因此，当人为地采用一些无益的相关变量时，无论从方向上还是从数量上，都会扭曲客观结论。在主成分分析之前，对变量系统的确定必须是慎之又慎的。</P></FONT><B><FONT 
face=Arial size=3>
<P align=justify>2 </FONT><FONT lang=ZH-CN face=黑体 
size=3>特异点的发现</P></B></FONT><FONT lang=ZH-CN face=宋体 size=3>
<P align=justify>第</FONT><FONT size=3>i</FONT><FONT lang=ZH-CN face=宋体 
size=3>个样本点（样本量为</FONT><FONT size=3>n</FONT><FONT lang=ZH-CN face=宋体 
size=3>）对第</FONT><FONT size=3>h</FONT><FONT lang=ZH-CN face=宋体 
size=3>主成分的贡献率是</P>
<P align=justify>（</FONT><FONT size=3>5-32</FONT><FONT lang=ZH-CN face=宋体 
size=3>）</FONT><FONT size=3> CTR(i)=F<SUB>h</SUB><SUP>2</SUP>(i)/(n</FONT><FONT 
lang=ZH-CN face=宋体 size=3>λ</FONT><SUB><FONT size=3>h</SUB>) </FONT><FONT 
lang=ZH-CN face=宋体 size=3>（若远超过</FONT><FONT size=3>1/n</FONT><FONT lang=ZH-CN 
face=宋体 size=3>，为特异点）</P></FONT><B><FONT face=Arial size=3>
<P align=justify>3 </FONT><FONT lang=ZH-CN face=黑体 
size=3>典型相关分析</P></B></FONT><FONT size=3>
<P align=justify></FONT><FONT lang=ZH-CN face=宋体 
size=3>从某种意义上说，多元回归分析、判别分析或对应分析等许多重要的数据分析方法，都可以归结为典型相关分析的一种特例，同时它还是偏最小二乘回归分析的理论基石。</P>
<P align=justify>典型相关分析，是从变量组</FONT><B><FONT size=3>X</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>中提取一个典型成分</FONT><B><FONT size=3>F=Xa</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>，再从变量组</FONT><B><FONT size=3>Y</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>中提取一个成分</FONT><B><FONT size=3>G=Yb</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>，在提取过程中，要求</FONT><B><FONT size=3>F</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>与</FONT><B><FONT size=3>G</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>的相关程度达到最大。</P>
<P align=justify>在典型相关分析中，采用下述原则寻优，即</P></FONT><FONT size=3>
<P align=justify>max&lt;<B>F</B>,<B>G</B>&gt;=<B>aX</B>'<B>Yb</B> 
<B>a</B>'<B>X</B>'<B>Xa</B>=1, <B>b</B>'<B>Y</B>'<B>Yb</B>=1</P>
<P align=justify></FONT><FONT lang=ZH-CN face=宋体 size=3>其结果为，</FONT><B><FONT 
size=3>a</B></FONT><FONT lang=ZH-CN face=宋体 size=3>是对应于矩阵</FONT><B><FONT 
size=3>V</B><SUB>11</SUB><SUP>-1</SUP><B> V</B><SUB>12</SUB><B> 
V</B><SUB>22</SUB><SUP>-1</SUP><B> V</B><SUB>21</SUB></FONT><FONT lang=ZH-CN 
face=宋体 size=3>最大特征值的特征向量，而</FONT><B><FONT size=3>b</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>是对应于矩阵</FONT><B><FONT size=3>V</B><SUB>22</SUB><SUP>-1</SUP><B> 
V</B><SUB>21</SUB><B>V</B><SUB>11</SUB><SUP>-1</SUP><B> 
V</B><SUB>12</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>最大特征值的特征向量，这两个最大特征值相同。其中，</P></FONT><B><FONT size=3>
<P align=justify>V</B><SUB>11</SUB>=<B>X</B>'<B>X</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>，</FONT><B><FONT 
size=3>V</B><SUB>12</SUB>=<B>X</B>'<B>Y</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>，</FONT><B><FONT size=3>V</B><SUB>22</SUB>=<B>Y</B>'<B>Y</B></FONT><FONT 
lang=ZH-CN face=宋体 size=3>。</P></FONT><FONT size=3>
<P align=justify><B>F</B></FONT><FONT lang=ZH-CN face=宋体 size=3>与</FONT><B><FONT 
size=3>G</B></FONT><FONT lang=ZH-CN face=宋体 size=3>之间存在着明显的换算关系。</P>
<P align=justify>有时只有一个典型成分还不够，还可以考虑第二个典型成分。</P></FONT><B><FONT lang=ZH-CN 
face=宋体>
<P align=justify>多因变量的偏最小二乘回归模型</P></FONT><FONT face=Arial size=3>
<P align=justify>1 </FONT><FONT lang=ZH-CN face=黑体 
size=3>工作目标</P></B></FONT><FONT lang=ZH-CN face=宋体 size=3>
<P align=justify>偏最小二乘回归分析的建模方法</P>
<P align=justify>设有</FONT><FONT size=3>q</FONT><FONT lang=ZH-CN face=宋体 
size=3>个因变量和</FONT><FONT size=3>p</FONT><FONT lang=ZH-CN face=宋体 
size=3>个自变量。为了研究因变量与自变量的统计关系，观测了</FONT><FONT size=3>n</FONT><FONT lang=ZH-CN 
face=宋体 size=3>个样本点，由此构成了自变量与因变量的数据表</FONT><B><FONT size=3>X</B></FONT><FONT 
lang=ZH-CN face=宋体 size=3>和</FONT><B><FONT size=3>Y</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>。偏最小二乘回归分别在</FONT><B><FONT size=3>X</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>与</FONT><B><FONT size=3>Y</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>中提取出</FONT><B><FONT size=3>t</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>和</FONT><B><FONT size=3>u</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>，要求：（</FONT><FONT size=3>1</FONT><FONT lang=ZH-CN face=宋体 
size=3>）</FONT><B><FONT size=3>t</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>和</FONT><B><FONT size=3>u</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>应尽可能大地携带它们各自数据表中的变异信息；（</FONT><FONT size=3>2</FONT><FONT lang=ZH-CN 
face=宋体 size=3>）</FONT><B><FONT size=3>t</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>和</FONT><B><FONT size=3>u</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>的相关程度能够达到最大。在第一个成分被提取后，偏最小二乘回归分别实施</FONT><B><FONT 
size=3>X</B></FONT><FONT lang=ZH-CN face=宋体 size=3>对</FONT><B><FONT 
size=3>t</B></FONT><FONT lang=ZH-CN face=宋体 size=3>的回归以及</FONT><B><FONT 
size=3>Y</B></FONT><FONT lang=ZH-CN face=宋体 size=3>对</FONT><B><FONT 
color=#0000ff size=3>t</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>的回归。如果回归方程已经达到满意的精度，则算法终止；否则，将利用</FONT><B><FONT size=3>X</B></FONT><FONT 
lang=ZH-CN face=宋体 size=3>被</FONT><B><FONT size=3>t</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>解释后的残余信息以及</FONT><B><FONT size=3>Y</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>被</FONT><B><FONT color=#0000ff size=3>t</B></FONT><FONT 
lang=ZH-CN face=宋体 
size=3>解释后的残余信息进行第二轮的成分提取。如此往复，直到能达到一个较满意的精度为止。若最终对</FONT><B><FONT 
size=3>X</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>共提取了多个成分，偏最小二乘回归将通过施行</FONT><B><FONT size=3>y</B><SUB>k</SUB></FONT><FONT 
lang=ZH-CN face=宋体 size=3>对</FONT><B><FONT size=3>X</B></FONT><FONT lang=ZH-CN 
face=宋体 size=3>的这些成分的回归，然后再表达成</FONT><B><FONT 
size=3>y</B><SUB>k</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>关于原自变量的回归方程。</P></FONT><B><FONT face=Arial size=3>
<P align=justify>2 </FONT><FONT lang=ZH-CN face=黑体 
size=3>计算方法</P></B></FONT><FONT size=3>
<P align=justify></FONT><FONT lang=ZH-CN face=宋体 
size=3>首先将数据做标准化处理。</FONT><B><FONT size=3>X</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>经标准化处理后的数据矩阵记为</FONT><B><FONT size=3>E</B><SUB>0</SUB>=(<B> 
E</B><SUB>01</SUB>,…,<B>E</B><SUB>0p</SUB>)<SUB>n</FONT><FONT lang=ZH-CN face=宋体 
size=3>×</FONT><FONT size=3>p</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>，</FONT><B><FONT size=3>Y</B></FONT><FONT lang=ZH-CN face=宋体 
size=3>的相应矩阵记为</FONT><B><FONT size=3>F</B><SUB>0</SUB>=(<B> 
F</B><SUB>01</SUB>,…,<B>F</B><SUB>0q</SUB>)<SUB>n</FONT><FONT lang=ZH-CN face=宋体 
size=3>×</FONT><FONT size=3>q</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>。</P></FONT><FONT size=3>
<P align=justify></FONT><B><FONT lang=ZH-CN face=宋体 size=3>第一步</FONT><FONT 
size=3> </B></FONT><FONT lang=ZH-CN face=宋体 size=3>记</FONT><B><FONT size=3>t</B> 
<SUB>1</SUB></FONT><FONT lang=ZH-CN face=宋体 size=3>是</FONT><B><FONT 
size=3>E</B><SUB>0</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>的第一个成分，</FONT><B><FONT size=3>t</B> <SUB>1</SUB>=<B> 
E</B><SUB>0</SUB><B>w</B><SUB>1</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>，</FONT><B><FONT size=3>w</B><SUB>1</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>是</FONT><B><FONT size=3>E</B><SUB>0</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>的第一个轴，它是一个单位向量，即</FONT><FONT size=3>||<B> 
w</B><SUB>1</SUB>||=1</FONT><FONT lang=ZH-CN face=宋体 size=3>。</P></FONT><FONT 
size=3>
<P align=justify></FONT><FONT lang=ZH-CN face=宋体 size=3>记</FONT><B><FONT 
size=3>u</B> <SUB>1</SUB></FONT><FONT lang=ZH-CN face=宋体 size=3>是</FONT><B><FONT 
size=3>F</B><SUB>0</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>的第一个成分，</FONT><B><FONT size=3>u</B> <SUB>1</SUB>=<B> 
F</B><SUB>0</SUB><B>c</B><SUB>1</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>，</FONT><B><FONT size=3>c</B><SUB>1</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>是</FONT><B><FONT size=3>F</B><SUB>0</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>的第一个轴，并且</FONT><FONT size=3>||<B> c</B><SUB>1</SUB>||=1</FONT><FONT 
lang=ZH-CN face=宋体 size=3>。</P>
<P align=justify>于是，要求解下列优化问题，即</P>
<P align=justify>（</FONT><FONT size=3>7-1</FONT><FONT lang=ZH-CN face=宋体 
size=3>）<IMG height=50 src="偏最小二乘回归方法及其应用.files/Image8.gif" width=289></P>
<P align=justify>记θ</FONT><SUB><FONT size=3>1</SUB>=<B> 
w</B><SUB>1</SUB>'<B>E</B><SUB>0</SUB>'<B>F</B><SUB>0</SUB><B>c</B><SUB>1</SUB></FONT><FONT 
lang=ZH-CN face=宋体 size=3>，即正是优化问题的目标函数值。</P>
<P align=justify>采用拉格朗日算法，可得</P>
<P align=justify>（</FONT><FONT size=3>7-8</FONT><FONT lang=ZH-CN face=宋体 
size=3>）</FONT><FONT size=3> 
<B>E</B><SUB>0</SUB>'<B>F</B><SUB>0</SUB><B>F</B><SUB>0</SUB>'<B>E</B><SUB>0</SUB><B>w</B><SUB>1</SUB>=</FONT><FONT 
lang=ZH-CN face=宋体 size=3>θ</FONT><SUB><FONT size=3>1</SUB><SUP>2</SUP><B> 
w</B><SUB>1</P></SUB></FONT><FONT lang=ZH-CN face=宋体 size=3>
<P align=justify>（</FONT><FONT size=3>7-9</FONT><FONT lang=ZH-CN face=宋体 
size=3>）</FONT><FONT size=3> 
<B>F</B><SUB>0</SUB>'<B>E</B><SUB>0</SUB><B>E</B><SUB>0</SUB>'<B>F</B><SUB>0</SUB><B>c</B><SUB>1</SUB>=</FONT><FONT 
lang=ZH-CN face=宋体 size=3>θ</FONT><SUB><FONT size=3>1</SUB><SUP>2</SUP><B> 
c</B><SUB>1</P></SUB></FONT><FONT lang=ZH-CN face=宋体 size=3>
<P align=justify>所以，</FONT><B><FONT size=3>w</B><SUB>1</SUB></FONT><FONT 
lang=ZH-CN face=宋体 size=3>是对应于</FONT><B><FONT 
size=3>E</B><SUB>0</SUB>'<B>F</B><SUB>0</SUB><B>F</B><SUB>0</SUB>'<B>E</B><SUB>0</SUB></FONT><FONT 
lang=ZH-CN face=宋体 size=3>矩阵最大特征值的单位特征向量，而</FONT><B><FONT 
size=3>c</B><SUB>1</SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>是对应于</FONT><B><FONT 
size=3>F</B><SUB>0</SUB>'<B>E</B><SUB>0</SUB><B>E</B><SUB>0</SUB>'<B>F</B><SUB>0</SUB></FONT><FONT 
lang=ZH-CN face=宋体 size=3>矩阵最大特征值θ</FONT><SUB><FONT 
size=3>1</SUB><SUP>2</SUP></FONT><FONT lang=ZH-CN face=宋体 size=3>的单位特征向量。</P>
<P align=justify>求得轴</FONT><B><FONT size=3>w</B><SUB>1</SUB></FONT><FONT 
lang=ZH-CN face=宋体 size=3>和</FONT><B><FONT size=3>c</B><SUB>1</SUB></FONT><FONT 
lang=ZH-CN face=宋体 size=3>后，即可得到成分</P></FONT><B><FONT size=3>
<P align=justify>t</B> <SUB>1</SUB>=<B> 
E</B><SUB>0</SUB><B>w</B><SUB>1</P></SUB><B>
<P align=justify>u</B> <SUB>1</SUB>=<B> 
F</B><SUB>0</SUB><B>c</B><SUB>1</P></SUB>
<P align=justify></FONT><FONT lang=ZH-CN face=宋体 size=3>然后，分别求</FONT><B><FONT 
size=3>E</B><SUB>0</SUB></FONT><FONT lang=ZH-CN face=宋体 size=3>和</FONT><B><FONT 
size=3>F</B><SUB>0</SUB></FONT><FONT lang=ZH-CN face=宋体 size=3>对</FONT><B><FONT 
size=3>t</B> <SUB>1</SUB></FONT><FONT lang=ZH-CN face=宋体 size=3>的回归方程</P>
<P align=justify>（</FONT><FONT size=3>7-10</FONT><FONT lang=ZH-CN face=宋体 
size=3>）</FONT><FONT size=3> <B>E</B><SUB>0</SUB>=<B> t</B> <SUB>1</SUB><B> 
p</B><SUB>1</SUB>'+<B> E</B><SUB>1</P></SUB></FONT><FONT lang=ZH-CN face=宋体 
size=3>
<P align=justify>（</FONT><FONT size=3>7-12</FONT><FONT lang=ZH-CN face=宋体 
size=3>）</FONT><FONT size=3> <B>F</B><SUB>0</SUB>=<B> t</B> 
<SUB>1</SUB><B>r</B><SUB>1</SUB>'+<B> F</B><SUB>1</P></SUB></FONT><FONT 
lang=ZH-CN face=宋体 size=3>
<P align=justify>式中，回归系数向量是</P>
<P align=justify>（</FONT><FONT size=3>7-13</FONT><FONT lang=ZH-CN face=宋体 
size=3>）</FONT><FONT size=3> <B>p</B><SUB>1</SUB>=<B> E</B><SUB>0</SUB>'<B> 
t</B> <SUB>1</SUB>/||<B> t</B> <SUB>1</SUB>||<SUP>2</P></SUP></FONT><FONT 
lang=ZH-CN face=宋体 size=3>
<P align=justify>（</FONT><FONT size=3>7-15</FONT><FONT lang=ZH-CN face=宋体 
size=3>）</FONT><FONT size=3> <B>r</B><SUB>1</SUB>=<B> F</B><SUB>0</SUB>'<B> 
t</B> <SUB>1</SUB>/||<B> t</B> <SUB>1</SUB>||<SUP>2</P></SUP></FONT><FONT 
lang=ZH-CN face=宋体 size=3>