主成分回归的建模策略研究

分析了国际上通用的主成分回归的工作原理和失效原因.在此基础上,提出一种新的主成分回归建模策略:①提取所有主成分建立模型;②删除模型中t检验不显著的成分;③用t检验显著的成分建立最终需要的模型.由于任一主成分的回归系数和t检验值以及与其余主成分无关.因此,当采用向后删除变量法时,如果有多个成分t检验不显著,则可以将它们同时删除,而无须逐个删除.采用仿真案例对所提出的方法的合理性进行验证.这种新的建模策略可以有效地提取对因变量有较强解释作用的成分,实现在自变量多重相关条件下的回归建模,并且允许在模型中包含所有的原始变量.此外,该方法的成分筛选过程简便,累计计算误差小于偏最小二乘回归等迭代算法.      

基于Gram-Schmidt过程的多项式回归建模方法

多项式回归模型是一种常用的非线性回归方法.由于在多项式回归模型中,自变量之间往往存在较强的相关关系,采用普通最小二乘回归方法来估计回归系数会存在较大的计算误差.为了提高多项式回归模型的预测准确性和可靠性,提出一种基于Gram-Schmidt过程进行多项式回归的建模方法,可以实现自变量集合的正交化,克服自变量集合多重共线对回归建模的不良影响,从而有效地运用最小二乘建立回归模型.同时可以进行信息筛选有效选取对因变量有显著解释作用的自变量,排除自变量中的冗余信息.采用仿真数据分析,检验了该方法的有效性.      

刀具磨损的偏最小二乘回归分析与建模

简述了偏最小二乘回归方法;对在不同切削条件下车削加工过程刀具后刀面磨损的多组实验数据,采用偏最小二乘回归方法,根据变量重要性指标分析和因子载荷分析,从8个变量及其组合中筛选出了6个用于建模的自变量,并以后刀具磨损量作为因变量,建立了对所选自变量(切削速度V、切削分力的均值F_x、F_y和F_z、分力比值F_y/F_x和F_z/F_x等)的偏最小二乘回归模型;采用建模数据覆盖的切削条件下的实验数据和建模数据未覆盖的切削条件下的实验数据,分别对模型进行了验证.结果表明,采用偏最小二乘回归方法选择的自变量是合理的,所建立的刀具磨损的回归模型可以较满意地计算出不同切削条件下刀具后刀面的磨损量.     

快速Gram-Schmidt回归方法

提出一种快速的变量筛选与回归建模方法.该方法将在建模过程中,一方面筛选出对因变量有最佳解释作用的信息;另一方面基于Gram-Schmidt正交变换,识别和检验模型中的冗余变量,以便能够及时和成批量地删除所有冗余信息.仿真分析指出,在自变量数量巨大,同时变量之间的多重相关程度又非常高的情形下,与经典的逐步回归相比,该方法的计算速度更快,建模过程更加简洁有效.     

多元线性回归的预测建模方法

根据历史的样本数据,建立多元线性回归的预测模型;从而在不需要未来样本数据的情况下,预测未来时刻多元线性回归模型中的回归参数,以及主要的模型精度评估指标.对多元线性回归模型参数的预测,转化为对其变量集合的增广矩阵的叉积阵的预测.对叉积阵进行谱分解,利用高维群点主轴旋转的预测建模方法,通过Givens变换得到特征向量矩阵的转角值,对自由取值的转角以及特征值建立预测模型.仿真实验例示了该方法的主要计算步骤;计算结果显示,利用本模型得到的拟合值精度较高,预测值真实可信.最终计算结果和实验结果吻合较好,表明这种方法可以用于分析和预测众多领域中因变量对自变量的回归关系问题.      

连续谱数据的函数型主成分回归

对连续谱数据不做离散化处理,而是将光滑后的连续谱作为连续曲线,进行函数型主成分回归分析,以期获得既可降维又能减少信息损失的回归方程.在此建模过程中,还引入连续谱的导数曲线作为协变量,并给出函数型主成分回归系数的bootstrap置信区间.作为实证研究,对玻璃样品的X射线谱和样品中硅元素含量进行回归分析.研究结果表明,基于函数型主成分的回归分析对响应变量具有较强解释能力,同时其回归系数更加符合数据本身的特点,显示出新方法所具有的优越性与实用价值.      

基于函数型数据的广义线性回归模型

函数型数据的回归分析研究主要集中在函数型线性模型。不要求因变量为连续型随机变量,可以为离散型或属性数据(对应于泊松或Logistic回归),对同时含有数值型多元变量和函数型变量的广义线性模型的估计问题进行分析,采用非参数方法得到了参数部分和非参数部分的估计量,并给出了一种重加权算法进行参数求解,解决了含数值型和函数型混合数据类型自变量的回归问题,同时扩展了函数型线性模型的应用范围。估计过程中,分别采用了函数型主成分和B样条基函数,并给出了基函数个数选择的准则。数值模拟结果表明,所提出方法具有良好的可行性与正确性。      

变量多重相关性对主成分分析的危害

证实了主成分分析完全无法消除变量系统的多重相关性和重叠信息不良影响，指出变量多重相关性无论从方向上还是从数量上都会扭曲主成分分析的客观结论，由此得知，在进行主成分分析之前，对变量系统的选择必须是极其慎重的。     

含函数型自变量回归模型中的变量选择

针对含有函数型和多元向量数据的回归模型中变量选择和参数估计问题进行研究,扩展了函数型数据分析和变量选择方法的应用范围。首先,函数型自变量基于函数型主成分基函数空间进行投影;然后,对投影后的函数型自变量（按组）及多元向量自变量采用惩罚变量选择方法,同时估计相应的系数。惩罚项调节参数采用自适应调节参数,损失函数采用中位绝对损失函数,以此为例,通过引入松弛变量将估计算法转化为求解线性规划问题,算法复杂度低。数值模拟结果表明,所提方法对于含函数型自变量回归模型的变量选择和参数估计均具有良好效果。      

可容忍信标误差的三维传感网节点定位方法

针对信标位置存在误差情况下的三维无线传感器网络节点定位问题,提出一种基于正交回归的多跳定位方法.同时考虑到自变量误差和因变量偏差对节点坐标估计的影响,基于约束加权正交回归参数估计准则,建立可容忍信标位置误差的三维多跳定位模型,解决了信标位置和距离估计两方面的误差并存时的节点自定位问题,并给出求解节点坐标最优值的数值方法;推导出相应的坐标估计精度评估标准3D-MCRB (3D Multi-hop Cramér-Rao Bound).仿真结果表明:此方法对信标位置误差和距离估计误差都具有较好的抑制能力,在大多数实验条件下,能将定位精度提高10%以上.     

Effect of removing the common mode errors on linear regression analysis of noise amplitudes in position time series of a regional GPS network & a case study of GPS stations in Southern California

The analysis of the correlations between the noise in different components of GPS stations has positive significance to those trying to obtain more accurate uncertainty of velocity with respect to station motion. Previous research into noise in GPS position time series focused mainly on single component evaluation, which affects the acquisition of precise station positions, the velocity field, and its uncertainty. In this study, before and after removing the common-mode error (CME), we performed one-dimensional linear regression analysis of the noise amplitude vectors in different components of 126?GPS stations with a combination of white noise, flicker noise, and random walking noise in Southern California. The results show that, on the one hand, there are above-moderate degrees of correlation between the white noise amplitude vectors in all components of the stations before and after removal of the CME, while the correlations between flicker noise amplitude vectors in horizontal and vertical components are enhanced from un-correlated to moderately correlated by removing the CME. On the other hand, the significance tests show that, all of the obtained linear regression equations, which represent a unique function of the noise amplitude in any two components, are of practical value after removing the CME. According to the noise amplitude estimates in two components and the linear regression equations, more accurate noise amplitudes can be acquired in the two components.     

偏最小二乘回归模型内涵分析方法研究

偏最小二乘回归是一种新型的多元分析方法。它可以在自变量多重相关的条件下,有效地构造出对系统解释性最强的子空间,进行发建模,使模型的精度和可靠性得到很大的提高。本文提出采用因素分析方法,对偏最小二乘回归的最优子空间进行正交变换。这种变换方法对偏最小二乘回归的模型结果没有任何影响,却可以使最优子空间的实际含义得到更好的解释。案例研究表明,经过正交变换后,原始变量被分为若干变量组,每个变量组分别对应于最     

Gram-Schmidt回归及在刀具磨损预报中的应用

多元线性回归是一种应用广泛的统计分析方法.在实际应用中,当自变量集合存在严重多重相关性时,普通最小二乘方法就会失效.为解决这一问题,利用Gram-Schmidt 正交变换,提出一种新的多元线性回归建模方法——Gram-Schmidt回归.该方法可实现多元线性回归中的变量筛选,同时也解决了自变量多重相关条件下的有效建模问题.将该方法应用于机械加工过程中刀具磨损的预报分析,有效地进行了变量筛选,并得到了解释性强同时拟合优度也很高的模型结果.      

基于变量贡献率的MSPC异常识别方法

异常识别是多元统计过程控制(MSPC, Multivariate Statistical Process Control)方法有效应用的关键.针对现有研究对历史异常信息利用的不足,综合考虑了主成分变量贡献率与重构误差变量贡献率对异常识别的影响,将两种变量贡献率进行归一化处理并求和得到综合变量贡献率;提出了一种基于综合变量贡献率的MSPC异常识别方法,并基于matlab计算平台实现了该算法.通过田纳西过程故障模式仿真及异常识别,对该方法的应用及算法有效性进行了实例验证.